جواب لکھو، پھر تین کوششیں نشان زد کرو

What this lesson is about

وہ حوالہ جواب لکھو جس کے خلاف تمہاری اسکورنگ گائیڈ لاگو ہوتی ہے، پھر اس کے ساتھ تین کوششیں نشان زد کرو۔

تمہارا پروجیکٹ تمہیں جمعہ تک چالیس جوابات نشان زد کرنے کو کہتا ہے، اور سامنے رکھنے کو کچھ نہیں دیا گیا۔ پہلے کیا کرو گے؟

Why this matters

بغیر لکھے ہوئے جواب کے نشان زدگی بے سمت ہو جاتی ہے: تیسرا جواب دوسرے کے خلاف پرکھا جاتا ہے، کام کے خلاف نہیں۔ ماڈل گریڈرز پر شائع کام میں بھی گریڈر کو یہی حوالہ جواب دیا جاتا ہے۔ تمہارا جواب وہ سونا معیار ہے جس میں لسٹنگ تم سے حصہ ڈالنے کو کہتی ہے۔

پہلے حوالہ جواب لکھو، پھر اس کے خلاف تین کوششیں نشان زد کرو۔

پہلے جواب لکھو؛ بغیر جواب کے گائیڈ تیسری کوشش تک بے سمت ہو جاتی ہے۔
جواب کی آواز کے بجائے جواب کے خلاف نشان دو۔
ہر نشان کا فیصلہ کرنے والی ایک لائن لکھو، تاکہ دوسرا نشان زد کرنے والا اختلاف کر سکے۔

Task

واپس آئے ہوئے کارٹونز کے کام کے تین جواب آتے ہیں، اور تینوں کریڈٹ سے انکار کرتے ہیں۔

Weak approach تینوں پڑھ کر سب سے لمبے کو اوپر رکھتا ہے، کیونکہ وہ پالیسی کو تفصیل سے سمجھاتا ہے۔ وہ ایک مینیجر کی طرح لگتا ہے۔ چار لائنوں والے جواب کو سخت کہہ کر سب سے کم نشان دیتا ہے۔

Stronger approach ہر جواب کو حوالہ جواب کے خلاف رکھتا ہے۔ لمبا جواب غلط وجہ سے انکار کرتا ہے، اس لیے پہلی لائن کا نشان کھو دیتا ہے۔ چار لائنوں والا جواب ساٹھ دن کی مدت اور دوبارہ مال چڑھانے کا خرچ بتاتا ہے، اور سب سے اوپر کا نشان لیتا ہے۔

Why the stronger approach works کمزور نشان زد کرنے والے نے جوابات کو آپس میں تولا۔ مضبوط نے ہر جواب کو حوالہ جواب سے ملایا، اس لیے دوسرا نشان زد کرنے والا اس کام کو چیک کر سکتا ہے۔

Try a changed situation ایک میڈیا ڈیسک تم سے ایک ہی پریس نوٹ کے دو نیوز سمریز نشان زد کرنے کو کہتی ہے۔ ایک چمکدار، دوسرا سادہ۔

Make something yourself پہلے سبق کا اپنا کام لو۔ اس کا حوالہ جواب لکھو، پھر اس کے خلاف تین جوابات نشان زد کرو۔ ہر نشان کے نیچے وہ ایک لائن لکھو جس نے نشان کا فیصلہ کیا۔

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)