سڌي ترجيح واري سکيا

What this lesson is about

ٻنهي رستن جو مقابلو ڪريو: اسڪورر کي ٽرين ڪريو ۽ RL استعمال ڪريو، يا ماڊل کي سڌو جوڙي مان منتقل ڪريو.

هڪ ڪمپني توهان جي سرڪل کي ٻڌائي ٿي ته هاڻي اهو ڪم لاءِ اسڪورر نه ٺاهيندي. ڪمري ۾ ڪنهن کي سمجهه ۾ نٿو اچي.

Why this matters

پراڻو رستو توهان جي جوڙين مان اسڪورر سکيا ڪري ٿو، پوءِ RL سان ماڊل کي بهتر بڻائي ٿو. سڌي ترجيح واري سکيا، جيڪا 2023 ۾ شايع ٿي، اسڪورر کي هٽائي ماڊل کي سڌو چونڊيل ۽ رد ٿيل جواب مان منتقل ڪري ٿي. توهان جي نشان لڳائڻ جو طريقو تبديل نٿو ٿئي. هڪ عادت هاڻي وڌيڪ قيمتي ٿي وئي آهي: ٽائي نشان لڳل جوڙي هن رستي کي ڪجھ به نٿي ڏئي.

چو ته سڌي ترجيح واري سکيا پراڻي ٻه قدم واري رستي کان ڪيئن مختلف آهي، ۽ اها توهان جي بيچ کان ڇا گهرندي آهي.

سڌي ترجيح واري سکيا ماڊل کي سڌو چونڊيل ۽ رد ٿيل جواب مان منتقل ڪري ٿي.
پراڻو رستو ٻه قدم گهرندو آهي: اسڪورر سکيو، پوءِ RL سان ماڊل بهتر ڪيو.
توهان جي پنهنجي بيچ ۾ چيڪ ڪرڻ لاءِ انگ اهو آهي ته توهان ڪيتريون جوڙيون ٽائي طور نشان لڳايون آهن.

Task

خريد ڪندڙ توهان جي سرڪل کي چيو ته سڌي ترجيح واري هلڻ لاءِ ٽي سؤ پراڻيون جوڙيون ٻيهر چيڪ ڪن.

Weak approach چوي ٿو پراڻا نشان ٺيڪ آهن، ڇو ته جواب تبديل نه ٿيا آهن ۽ بهتر تي نشان لڳل آهي. ٽي سؤ جوڙيون بنا شيٽ کولڻ جي اڳتي موڪلي ٿو.

Stronger approach پهريان ٽائي نشان ڳڻي ٿو، ٽي سؤ مان اکيتر ڳولي ٿو. انهن کي فيصلا ڪرڻ يا هٽائڻ لاءِ واپس موڪلي ٿو، ۽ سبب شيٽ تي لکي ٿو.

Why the stronger approach works ٻئي هڪ ئي بيچ ٻيهر پڙهيا. صرف مضبوط جواب انهن نشانن کي ڳڻي ٿو جيڪي هي هلڻ استعمال نٿو ڪري سگهي.

Try a changed situation توهان جي ٽي سؤ جوڙين ۾ اکيتر ٽائي نشان آهن. خريد ڪندڙ هن هفتي سڌي ترجيح وارو هلڻ چاهي ٿو.

Make something yourself هڪ بيچ وٺو جنهن تي توهان نشان لڳايا آهن. ٻڌايو ته ڪيترا ٽائي آهن، ۽ سڌي ترجيح واري هلڻ کان اڳ انهن سان ڇا ڪندا.

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)