ترجيحي نشانن جي بيچ جي جاچ ڪريو

What this lesson is about

ترجيحي نشانن جو هڪ بيچ کوليو ۽ ڳڻيو ته اسڪور ڪندڙ ان مان ڪهڙيون غلطيون سکندو، پوءِ نوٽ لکو.

نو سؤ نشان لڳايل جوڙن جو بيچ ليبارٽري وڃڻ کان اڳ توهان جي ميز تي اچي ٿو. سڀ کان پهريان ڇا ڳڻيندا؟

Why this matters

هڪ شايع ٿيل اسسٽنٽ پروجيڪٽ پنهنجي تحقيق ڪندڙن ۽ پگهار وارن جائچ ڪندڙن جي وچ ۾ لڳ ڀڳ ٽريٽيهه سيڪڙو متفقه ماپي هئي. اهو سخت ڪيسن تي محتاط ڪم جو نتيجو آهي. تنهنڪري جيڪو بيچ پاڻ ۾ تقريباً مڪمل متفقه هجي، ان کي پهرين کوليو ۽ ڳوليو ته اسڪور ڪندڙ ڪهڙي عادت کي نقل ڪندو.

ترجيحي نشانن جي بيچ جي جاچ ڪريو ته اسڪور ڪندڙ ڪهڙيون غلطيون سکندو، ۽ ان سان گڏ نوٽ لکو.

ٽيون غلطيون اسڪور ڪندڙ کي خراب ڪن ٿيون: ڊگهي جواب جي ڪاميابي، پهرين ڏيکاريل جواب جي ڪاميابي، ۽ هڪ جائچ ڪندڙ جو اڪيلو نشان لڳائڻ.
تقريباً مڪمل متفقه انعام ناهي، خبرداري آهي، ڇو ته سخت ڪيسن تي محتاط ماڻهو به ورهائجي وڃن ٿا.
ڳڻپون نموني جي سائيز سان گڏ رپورٽ ڪريو، ۽ لکو ته ڪهڙي غلطي جي جاچ توهان نٿي ڪري سگهيا.

Task

صحت هيلپ لائن جي نو سؤ ترجيحي جوڙن مان ساٺ جو جاچ ڪريو، تربيت کان اڳ.

Weak approach ساٺ جوڙا پڙهي ٿو، هر نشان معقول لڳي ٿو، ۽ لکي ٿو ته بيچ صاف آهي ۽ وڃي سگهي ٿو. ڪجھه ڳڻپ نٿو ڪري ۽ ڪنهن جائچ ڪندڙ جو نالو نٿو لکي.

Stronger approach ڳڻپ ڪري ٿو: ڊگهي جواب ساٺ مان اٺتاليس ڀيرا کٽيو، ۽ پهرين ڏيکاريل جواب اکيتر ڀيرا. ٻئي ڳڻپون نموني جي سائيز سان رپورٽ ڪري ٿو، ۽ چوندو آهي ته ٽيهه جوڙا ترتيب بدلائي ٻيهر نشان لڳايا وڃن.

Why the stronger approach works ٻئي ساڳيا ساٺ جوڙا پڙهيا. مضبوط جاچ ان پڙهائي کي ٻه ڳڻپون بڻائي ٿي جيڪي خريدار چيڪ ڪري سگهي ٿو.

Try a changed situation توهان جي نموني جي ساٺ سخت جوڙن مان اننهن تي ٻئي جائچ ڪندڙ متفق آهن. خريدار ان کي بهترين ڪم چوي ٿو.

Make something yourself هڪ ترجيحي بيچ جي نموني جي جاچ ڪريو. ڳڻيو ته ڊگهي جواب ڪيتريون ڀيرا کٽيون ۽ پهرين ڏيکاريل جواب ڪيتريون ڀيرا، پوءِ بيچ سان گڏ نوٽ لکو.

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)