جواب لکھیں، پھر تین کوششوں کو نشان زد کریں

What this lesson is about

وہ حوالہ جواب لکھیں جس کے خلاف آپ کا اسکورنگ گائیڈ لاگو ہوتا ہے، پھر اس کے خلاف تین کوششوں کو نشان زد کریں۔

آپ کا پروجیکٹ جمعہ تک چالیس جوابات کو اسکور کرنا چاہتا ہے، اور سامنے رکھنے کے لیے کچھ نہیں دیا گیا۔ آپ پہلے کیا کریں گے؟

Why this matters

بغیر لکھے جواب کے نشان زدگی بے سمت ہو جاتی ہے: تیسرا جواب دوسرے کے خلاف پرکھا جاتا ہے، کام کے خلاف نہیں۔ ماڈل گریڈرز پر شائع کام اسی وجہ سے گریڈر کو حوالہ جواب دیتا ہے۔ آپ کا جواب بھی وہ معیار ہے جس میں فہرست آپ سے تعاون مانگتی ہے۔

پہلے حوالہ جواب لکھیں، پھر اس کے خلاف تین کوششوں کو نشان زد کریں۔

پہلے جواب لکھیں؛ بغیر جواب کے گائیڈ تیسری کوشش تک بے سمت ہو جاتا ہے۔
جواب کی آواز کے بجائے جواب کے خلاف نشان دیں۔
ہر نشان کا فیصلہ کرنے والی ایک لائن لکھیں، تاکہ دوسرا نشان زد کرنے والا اختلاف کر سکے۔

Task

واپس کیے گئے کارٹن کے کام کے تین جوابات آتے ہیں، اور تینوں کریڈٹ سے انکار کرتے ہیں۔

Weak approach تینوں پڑھ کر سب سے لمبے کو اوپر رکھتا ہے، کیونکہ وہ پالیسی کو تفصیل سے سمجھاتا ہے۔ وہ ایک مینیجر کی طرح لگتا ہے۔ چار لائن والے جواب کو سخت کہہ کر سب سے کم نشان دیتا ہے۔

Stronger approach ہر جواب کو حوالہ جواب کے خلاف رکھتا ہے۔ لمبا جواب غلط وجہ سے انکار کرتا ہے، اس لیے پہلی لائن کا نشان کھو دیتا ہے۔ چار لائن والا جواب ساٹھ دن کی مدت اور دوبارہ مال چڑھانے کا خرچ بتاتا ہے، اور سب سے اوپر کا نشان لیتا ہے۔

Why the stronger approach works کمزور نشان زد کرنے والے نے جوابات کو آپس میں تولا۔ مضبوط نے ہر جواب کو حوالہ جواب سے ملایا، اسی لیے دوسرا نشان زد کرنے والا اس کا کام چیک کر سکتا ہے۔

Try a changed situation ایک میڈیا ڈیسک آپ سے ایک ہی پریس نوٹ کے دو نیوز سمریز کو اسکور کرنے کو کہتی ہے۔ ایک چمکدار، دوسرا سادہ۔

Make something yourself پہلے سبق کا اپنا کام لیں۔ اس کا حوالہ جواب لکھیں، پھر اس کے خلاف تین جوابات کو نشان زد کریں۔ ہر نشان کے نیچے وہ ایک لائن لکھیں جس نے نشان کا فیصلہ کیا۔

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)