ترجيحن کان ٽريننگ سگنل تائين

What this lesson is about

ڏسو ته ٻن جوابن جي وچ ۾ چونڊ ڇا ظاهر ڪري ٿي. ڏسو جڏهن هدايتون يا جائچ ڪندڙ اختلاف ڪن ته ڇا وڃائي ٿو.

توهان جي شيٽ ۾ هڪ جواب سومر جي بيچ جو آهي ۽ ٻيو بلڪل مختلف سوال جو آهي. توهان ڇا درست ڪندا؟

Why this matters

ترجيح صرف ايتري سٺي آهي جيترو ان جي پٺيان ڪم، روبرڪ — چيڪ لسٽ جيڪا چوي ٿي سٺو جواب ڇا هجڻ گهرجي، جائچ ڪندڙ جي ڄاڻ، ۽ اختلاف ڪيئن حل ٿئي ٿو. روبرڪ جو هر لائن هڪ معيار آهي — هڪ نالو ڏنل خاصيت جنهن تي توهان فيصلو ڪريو ٿا.

سمجهو ته ٻن جوابن جي وچ ۾ چونڊ ڇا ظاهر ڪري ٿي، ۽ جتي اختلاف هجي اتي فيصلو ڪيئن ڪيو وڃي.

ساڳئي سوال لاءِ اهڙا جواب گڏ ڪريو جن جي مقابلي ڪري سگهجي.
صرف A يا B نه، فيصلو ڪندڙ معيار رڪارڊ ڪريو.
انصاف واري اختلاف کي ثبوت طور وٺو ته ڪم کي درست ڪرڻ جي ضرورت آهي.

Task

ٻه جائچ ڪندڙ هڪ ئي رقم واپسي سوال جا ٻه جواب ڀيٽين ٿا. معيار ۾ درستگي ۽ لهجو لکيل آهي، ۽ ڊيگهه بابت ڪجھ به ناهي.

Weak approach ٻنهي جوابن کي ٻه ڀيرا پڙهي ٿو ۽ ٻيو چونڊي ٿو، ڇو ته ان جو لهجو وڌيڪ نرم لڳي ٿو. باڪس ۾ B لکي اڳتي وڌي ٿو. معيار جي اها لائن جيڪا فيصلو ڪري رهي هئي، شيٽ تي ڪٿي به ناهي. ايندڙ هفتي ڪو به نه چئي سگهندو ته لهجو کٽيو يا درستگي.

Stronger approach ٻيو ئي چونڊي ٿو، ۽ ان لائن کي لکي ٿو جنهن تي اهو کٽيو: پهرين جواب ۾ چوڏه ڏينهن جي ونڊو ناهي. پوءِ اهو به ظاهر ڪري ٿو ته معيار ڪٿي به نٿو چوي ته ننڍو صحيح جواب ڊگهو صحيح جواب کان بهتر آهي يا نه.

Why the stronger approach works ٻنهي جائچ ڪندڙن هڪ ئي جواب چونڊيو، ۽ صرف هڪ ئي سبب ڇڏيو. هن جوڙي مان جيڪو ٺهي ٿو اهو ايندڙ سبق آهي: نشان لڳايل لائن کان سکڻ وارو سکندو آهي. صرف B لکڻ سان ڪجهه نٿو سکجي.

Try a changed situation ٻه صحت ورڪر اختلاف ڪن ٿا ته ڪهڙو ٻه ليٽ فلٽس مان واضح آهي، ۽ گڏجاڻي پنج منٽن ۾ ختم ٿي رهي آهي. شيٽ ۾ ڇا لکبو؟

Make something yourself ترجيحي ڊيٽا جا چار مرحلا ڊرائنگ ڪريو. پوءِ هڪ جاءِ جو نالو ڏيو جتي تعصب يا غير واضح ڳالهه اچي سگهي ٿي.

Read the primary or official source: Hugging Face Alignment Course