آپ کے لیبل کہاں جاتے ہیں

What this lesson is about

اپنی اسکرین سے ایک ریٹنگ بیچ کو ٹریننگ رن تک فالو کریں، اور راستے میں اس کی پاس کی گئی چیکس تلاش کریں۔

آپ جمعہ کو دو سو قطاریں مکمل کر کے بھیج دیتے ہیں۔ آپ کا کزن پوچھتا ہے کہ کیا ماڈل اسی شام بدل جاتا ہے۔

Why this matters

ایک شائع شدہ اسسٹنٹ رن نے یہ لوپ صاف لکھا ہے۔ بیچز کو ملایا جاتا ہے، ایک حصہ الگ رکھا جاتا ہے، ماڈل کو ٹرین کیا جاتا ہے، اور پھر نئے بیچز بدلے ہوئے ماڈل پر آتے ہیں۔ بعد میں رن پر اعتماد دو چیزوں سے بنتا ہے۔ ایک ہولڈ آؤٹ سیٹ — وہ آئٹمز جن پر ماڈل کبھی ٹرین نہیں ہوتا — مرمت کے دوران بغیر پڑھے رہنا چاہیے۔ اور ہر بیچ کے ساتھ یہ ہونا چاہیے کہ کس نے اور کب مارک کیا۔

اپنی اسکرین سے ایک ریٹنگ بیچ کو ٹریننگ رن تک فالو کریں، اور راستے میں چیکس کے نام بتائیں۔

آپ کا بیچ دوسروں کے ساتھ ملایا جاتا ہے اور پھر تقسیم ہوتا ہے: زیادہ تر رن میں جاتا ہے، کچھ الگ رکھا جاتا ہے۔
جو حصہ الگ رکھا جاتا ہے، وہ اسی وقت استعمال ہو جاتا ہے جب کوئی اس کی غلطیاں پڑھ کر مرمت کرتا ہے۔
لکھیں کہ کس نے اور کب مارک کیا، کیونکہ بغیر نام کے بیچ بعد میں چیک نہیں کیا جا سکتا۔

Task

ایک ٹیم پوچھتی ہے کہ پچھلے مہینے کی بارہ سو مارک شدہ جوڑیاں نئے ماڈل کی جانچ سے پہلے کہاں گئیں۔

Weak approach کہتی ہے کہ وہ سب ٹریننگ رن میں گئیں، اور نیا ماڈل بہتر جواب دیتا ہے، اس لیے مارکنگ کامیاب رہی۔ نہ بیچ کا نام، نہ گنتی، نہ تاریخ۔

Stronger approach ان کا پتہ لگاتی ہے: ایک ہزار رن میں، دو سو الگ رکھے گئے۔ ان دو سو میں سے دو مرمت کے دوران پڑھے گئے، اس لیے رپورٹ میں ایک سو اٹھانوے لکھا جاتا ہے۔

Why the stronger approach works کمزور ٹریس ماڈل بہتر ہونے پر رک جاتا ہے۔ مضبوط ٹریس بتاتا ہے کہ کیا الگ رکھا گیا اور کیا استعمال ہوا۔

Try a changed situation ایک ساتھی ادارہ آپ کے الگ رکھے گئے حصے سے ایک نمبر مانگتا ہے۔ اس کے چھ آئٹمز گائیڈ کی مرمت کے دوران پڑھے جا چکے ہیں۔

Make something yourself اپنے کسی ایک بیچ کا راستہ بنائیں: کس نے مارک کیا، کس پر ٹریننگ ہوئی، کیا الگ رکھا گیا، اور کیا استعمال ہوا۔

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)