سیدھی پسند سکھان

What this lesson is about

دو راہ موازنہ کرن: سکورر سکھان اور RL استعمال کرن، یا ماڈل کو جوڑی سے سیدھا منتقل کرن۔

ادارہ تُہند حلقہ سے کہہ چھ کہ اب سکورر نہ بناؤ۔ کمرے منز کوئی نہ سمجھ پات۔

Why this matters

پرانا راہ تُہند جوڑیاں سے سکورر سکھان، پھر RL سے ماڈل بہتر کران۔ 2023 منز شائع شدہ سیدھی پسند سکھان سکورر ختم کران، تہ ماڈل کو چُنے تہ رد کردہ جواب سے سیدھا منتقل کران۔ تُہند نشان لگاون طریقه نہ بدلے۔ ایک عادت مہنگی تھیو: برابر نشان والی جوڑی یہ راہ کچھ نہ دیو۔

بتاؤ کہ سیدھی پسند سکھان پرانے دو قدم والے راہ سے کیون مختلف چھ، تہ یہ تُہند بیچ سے کیہ مانگ چھ۔

سیدھی پسند سکھان ماڈل کو چُنے تہ رد کردہ جواب سے سیدھا منتقل کران۔
پرانا راہ دو قدم مانگ: پہلے سکورر سکھاؤ، پھر RL سے ماڈل بہتر کرو۔
تُہند بیچ منز چیک کرن والی تعداد چھ برابر نشان والی جوڑیاں۔

Task

خریدار تُہند حلقہ سے کہہ چھ کہ تین سو پرانی جوڑیاں دوبارہ چیک کرن سیدھی پسند دور کے لیے۔

Weak approach کہہ چھ پرانے نشان چلن گے، کیوں کہ جواب نہ بدلے تہ بہتر جواب پر نشان لگ چکا۔ تین سو جوڑیاں بغیر شیٹ کھولے بھیج دتا۔

Stronger approach پہلے برابر نشان گنت چھ، تہ تین سو منز اکتالیس پائے۔ اُنہن واپس بھیج دتا فیصلہ کرن یا ہٹان، تہ وجہ شیٹ پر لکھ دی۔

Why the stronger approach works دونوں نے ایک ہی بیچ دوبارہ پڑھا۔ صرف مضبوط جواب اُن نشان گنے جنہن یہ دور استعمال نہ کر سک۔

Try a changed situation تُہند تین سو جوڑیاں منز اکتالیس برابر نشان آسن۔ خریدار ای ہفتہ سیدھی پسند دور چاہن۔

Make something yourself تُہند نشان لگائے ہوئے جوڑیاں والا بیچ لو۔ بتاؤ کتنے برابر آسن، تہ سیدھی پسند دور سے پہلے تُہند کیہ کرن۔

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)