انعام ماڈل کیا ہے

What this lesson is about

دیکھیں کہ نشان زد جوڑوں سے کیا بنتا ہے: ایک اسکورر، جو صحیح جواب کی بجائے آپ کے ترتیب پر تربیت پاتا ہے۔

آٹھ سو نشان زد جوڑوں کا آپ کا بیچ پیر کو ایک لیبارٹری جاتا ہے۔ ساتھی پوچھتا ہے کہ وہاں اس سے کیا بنتا ہے۔

Why this matters

ایک شائع شدہ خلاصہ رن میں یہی ڈھانچہ نظر آتا ہے۔ نشان زد جوڑیاں اسکورر کو تربیت دیتی ہیں، اور ماڈل کو پھر اس اسکورر کے خلاف بہتر بنایا جاتا ہے۔ اس لیے آپ کی جوڑی کوئی ایسا جواب نہیں جسے ماڈل نقل کرے گا۔ یہ اسکورر کی اپنی تعلیم کی ایک لائن ہے، اور ماڈل کو بعد میں اس اسکورر کو خوش کرنے کے لیے دھکیلا جاتا ہے۔

بتائیں کہ انعام ماڈل کیا ہے، اس کی تربیت کس چیز پر ہوتی ہے، اور ایک نشان زد جوڑی کیا بنتی ہے۔

انعام ماڈل ایک اسکورر ہے جو آپ کی جوڑوں سے سیکھتا ہے، صحیح جواب سے نہیں۔
ایک جوڑی صرف ترتیب سکھاتی ہے: اس سوال پر یہ جواب دوسرے سے بہتر ہے۔
ماڈل کو بعد میں اس اسکور کو بڑھانے کے لیے دھکیلا جاتا ہے، اس لیے کمزور اسکورر کمزور عادات سکھاتا ہے۔

Task

صحت کے جوابات کی آٹھ سو نشان زد جوڑیاں تربیت کے لیے بھیجی جا رہی ہیں۔ بتائیں کہ ایک جوڑی کیا بنتی ہے۔

Weak approach کہتا ہے کہ ہر منتخب جواب ماڈل کے لیے ایک تربیتی مثال بن جاتا ہے۔ آٹھ سو جوڑیاں آٹھ سو مثالی جوابات سمجھتا ہے جنہیں ماڈل نقل کرے گا۔

Stronger approach کہتا ہے کہ ہر جوڑی اسکورر کے لیے ایک موازنہ بن جاتی ہے۔ اسکورر سیکھتا ہے کہ کون سا جواب دوسرے سے بہتر ہے۔ پھر ماڈل کو اس اسکور کو بڑھانے کے لیے دھکیلا جاتا ہے۔

Why the stronger approach works کمزور سمجھ منتخب جواب کو نقل کرنے کے قابل مثالی جواب بنا دیتی ہے۔ جوڑی میں ترتیب ہوتی ہے، الفاظ نہیں۔

Try a changed situation دکان کے جائزہ لینے والی ٹیم مراٹھی جوڑوں پر نشان لگاتی ہے۔ اس کا اسکورر اب تقریباً ہر بار لمبا جواب اوپر رکھتا ہے۔

Make something yourself اس ہفتے آپ نے جو ایک جوڑی نشان زد کی ہے، اسے لیں۔ لکھیں کہ اسکورر اس سے کیا سیکھتا ہے، اور ایک چیز جو وہ اس سے نہیں سیکھ سکتا۔

Read the primary or official source: Stiennon et al., Learning to summarize from human feedback (arXiv)