براہِ راست ترجیح کی تربیت

What this lesson is about

دو راستے موازنہ کریں: ایک اسکورر کو تربیت دیں اور RL استعمال کریں، یا ماڈل کو جوڑی سے سیدھا منتقل کریں۔

ایک فرم آپ کی ٹیم کو بتاتی ہے کہ وہ اس کام کے لیے اسکورر نہیں بنائے گی۔ کمرے میں کوئی نہیں سمجھ رہا۔

Why this matters

پرانا راستہ آپ کی جوڑیوں سے اسکورر سکھاتا ہے، پھر RL کے ذریعے ماڈل کو اس کے خلاف بہتر بناتا ہے۔ براہِ راست ترجیح کی تربیت، جو 2023 میں شائع ہوئی، اسکورر کو ہٹا کر ماڈل کو منتخب اور مسترد جواب سے سیدھا منتقل کرتی ہے۔ آپ کی نشان دہی نہیں بدلتی۔ ایک عادت اب زیادہ مہنگی ہے: برابر کا نشان اس راستے کو کچھ نہیں دیتا۔

بتائیں کہ براہِ راست ترجیح کی تربیت پرانا دو قدمی راستہ کیسے مختلف ہے، اور یہ آپ کے بیچ سے کیا مانگتا ہے۔

براہِ راست ترجیح کی تربیت ماڈل کو منتخب اور مسترد جواب سے سیدھا منتقل کرتی ہے۔
پرانا راستہ دو قدم لیتا ہے: اسکورر سکھائیں، پھر RL سے ماڈل بہتر کریں۔
اپنے بیچ میں چیک کرنے والی تعداد وہ ہے جس پر آپ نے برابر کا نشان لگایا ہے۔

Task

خریدار نے آپ کی ٹیم سے کہا کہ تین سو پرانی جوڑیوں کو براہِ راست ترجیحی رن کے لیے دوبارہ چیک کریں۔

Weak approach کہتا ہے پرانے نشان چلیں گے کیونکہ جوابات نہیں بدلے اور بہتر جواب پر نشان لگا ہوا ہے۔ بغیر شیٹ کھولے تین سو جوڑیاں بھیج دیتا ہے۔

Stronger approach پہلے برابر کے نشان گنتا ہے اور تین سو میں اکتالیس پاتا ہے۔ انہیں فیصلہ کرنے یا ہٹانے کے لیے واپس بھیجتا ہے اور وجہ شیٹ پر لکھ دیتا ہے۔

Why the stronger approach works دونوں نے ایک ہی بیچ دوبارہ پڑھا۔ صرف مضبوط جواب برابر کے نشانوں کو گنتا ہے جو یہ رن استعمال نہیں کر سکتا۔

Try a changed situation آپ کی تین سو جوڑیوں میں اکتالیس برابر کے نشان ہیں۔ خریدار اس ہفتے براہِ راست ترجیحی رن چاہتا ہے۔

Make something yourself اپنے نشان لگائے ہوئے جوڑیوں کا بیچ لیں۔ بتائیں کہ برابر کے کتنے ہیں، اور براہِ راست ترجیحی رن سے پہلے آپ ان کے ساتھ کیا کریں گے۔

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)