All learning paths Learn See Try Make ایک ترجیحی بیچ کا آڈٹ کریں What this lesson is about ترجیحات کے نشانات کا ایک بیچ کھولیں اور گنتی کریں کہ اس سے اسکور کرنے والا کون سی غلطیاں سیکھے گا، پھر نوٹ لکھیں۔
نو سو نشان زد جوڑوں کا بیچ لیب جانے سے پہلے آپ کی میز پر آتا ہے۔ آپ سب سے پہلے کیا گنتے ہیں؟
A ہر شخص نے کتنے جوڑے مکمل کیے، تاکہ سست میز کی نشاندہی لیب کی شکایت سے پہلے ہو جائے۔ B تین غلطیاں اسکورر کو خراب کرتی ہیں: لمبائی کا جیتنا، پہلے دکھائے گئے جواب کا جیتنا، اور ایک جائزہ لینے والے کا اکیلا نشان لگانا۔ C چنے گئے جوابات پڑھنے میں اچھے ہیں یا نہیں، کیونکہ اچھے جوابات اچھے بیچ بناتے ہیں۔
Check my recall Why this matters ایک شائع شدہ اسسٹنٹ پروجیکٹ نے اپنی لیب کے محققین اور ادا شدہ جائزہ لینے والوں کے درمیان تقریباً ترسٹھ فیصد اتفاق ناپا تھا۔ یہی مشکل کیسز پر محتاط کام کی علامت ہے۔ اس لیے جو بیچ تقریباً مکمل اتفاق رکھتا ہو، اسے سب سے پہلے کھولیں۔ آپ جو تلاش کر رہے ہیں وہ وہ عادت ہے جسے اسکورر نقل کرے گا۔
ترجیحات کے نشانات کے ایک بیچ کا آڈٹ کریں تاکہ معلوم ہو سکے کہ اسکورر کون سی غلطیاں سیکھے گا۔ اس کے ساتھ جانے والا نوٹ لکھیں۔
ایک شائع شدہ اسسٹنٹ پروجیکٹ نے اپنی لیب کے محققین اور ادا شدہ جائزہ لینے والوں کے درمیان تقریباً ترسٹھ فیصد اتفاق ناپا تھا۔ یہی مشکل کیسز پر محتاط کام کی علامت ہے۔ اس لیے جو بیچ تقریباً مکمل اتفاق رکھتا ہو، اسے سب سے پہلے کھولیں۔ آپ جو تلاش کر رہے ہیں وہ وہ عادت ہے جسے اسکورر نقل کرے گا۔
تین غلطیاں اسکورر کو خراب کرتی ہیں: لمبائی کا جیتنا، پہلے دکھائے گئے جواب کا جیتنا، اور ایک جائزہ لینے والے کا اکیلا نشان لگانا۔ تقریباً مکمل اتفاق انعام نہیں، بلکہ انتباہ ہے، کیونکہ مشکل کیسز پر محتاط لوگ بھی متفق نہیں ہوتے۔ گنتی نمونے کے سائز کے ساتھ رپورٹ کریں، اور بتائیں کہ کون سی غلطی کی جانچ آپ نہیں کر سکے۔ Task صحت ہیلپ لائن کے نو سو ترجیحی جوڑوں میں سے ساٹھ کا آڈٹ کریں، اس سے پہلے کہ وہ تربیت کے لیے جائیں۔
Weak approach ساٹھ جوڑے پڑھتا ہے، ہر نشان کو معقول پاتا ہے، اور لکھتا ہے کہ بیچ صاف ہے اور بھیجا جا سکتا ہے۔ کچھ گنتا نہیں اور نہ ہی کسی جائزہ لینے والے کا نام لیتا ہے۔
Stronger approach گنتی کرتا ہے: ساٹھ میں سے اڑتالیس بار لمبا جواب جیتا، اور اکتالیس بار پہلے دکھایا گیا جواب جیتا۔ دونوں گنتیاں نمونے کے سائز کے ساتھ رپورٹ کرتا ہے، اور کہتا ہے کہ تیس جوڑے الٹ ترتیب میں دوبارہ نشان زد کیے جائیں۔
Why the stronger approach works دونوں نے وہی ساٹھ جوڑے پڑھے۔ مضبوط آڈٹ اس پڑھائی کو دو ایسی گنتیوں میں بدل دیتا ہے جنہیں خریدار چیک کر سکتا ہے۔
Try a changed situation آپ کے نمونے کے ساٹھ مشکل جوڑوں میں سے اننٹھ پر دونوں جائزہ لینے والوں کا اتفاق ہے۔ خریدار اسے بہترین کام کہتا ہے۔
Make something yourself کسی ایک ترجیحی بیچ کے نمونے کا آڈٹ کریں۔ لمبائی کی جیت اور پہلے دکھائے گئے جواب کی جیت گنیں، پھر بیچ کے ساتھ جانے والا نوٹ لکھیں۔
Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)