प्रत्यक्ष-पसन्द-प्रशिक्षणम्

What this lesson is about

द्वयोः मार्गयोः तुलनां कुर्वन्तु: स्कोररं शिक्षयित्वा RL उपयुज्य वा युग्मात् प्रत्यक्षं मॉडलं परिवर्तयन्तु।

संस्था मण्डलम् उक्तवती यत् एषः कार्याय स्कोररं न निर्मास्यति। कक्ष्यामध्ये कश्चन न जानाति तदर्थम्।

Why this matters

पुरातनमार्गः युग्मेभ्यः स्कोररं शिक्षयति, ततः RL द्वारा मॉडलं तेन अनुकूलयति। प्रत्यक्ष-पसन्द्-प्रशिक्षणं, 2023 तमे वर्षे प्रकाशितम्, स्कोररं त्यजति च निर्वाचितं अस्वीकृतं च प्रत्युत्तरात् प्रत्यक्षं मॉडलं परिवर्तयति। भवतः चिह्ननप्रक्रिया न परिवर्तते। एकः स्वभावः अधिकं व्ययकरः जातः: समतुल्यं चिह्नितं युग्मं एषः मार्गः किञ्चन न ददाति।

प्रत्यक्ष-पसन्द्-प्रशिक्षणं पुरातन-द्विपादमार्गात् कथं भिन्नं, च भवतः बैचात् किम् अपेक्षते तद् कथयतु।

प्रत्यक्ष-पसन्द्-प्रशिक्षणं मॉडलं निर्वाचितं अस्वीकृतं च प्रत्युत्तरात् प्रत्यक्षं परिवर्तयति।
पुरातनमार्गः द्वे पादे आवश्यकः: स्कोररं शिक्षयतु, ततः RL द्वारा मॉडलं सुधारयतु।
स्वस्य बैचे परीक्षितव्यं सङ्ख्या यत् युग्मानि समतुल्ये चिह्नितानि।

Task

एकः क्रीणकर्त्ता भवतः मण्डलम् आवेदयति यत् प्रत्यक्ष-पसन्द्-प्रशिक्षणाय त्रिशतं पुरातनयुग्मानि पुनः परीक्ष्यन्ताम्।

Weak approach वदति यत् पुरातनचिह्नाः प्रयोज्यन्ते, यतः प्रत्युत्तराणि न परिवर्तितानि, श्रेष्ठं चिह्नितं अस्ति। त्रिशतं युग्मानि पत्रं न उद्घाटयित्वा प्रेषयति।

Stronger approach प्रथमं समतुल्यानां सङ्ख्यां गणयति च त्रिशतस्य एकसप्ततिः चत्वारिंशत् पश्यति। तान् निर्णयाय वा त्यागाय प्रत्यागच्छयति, कारणं च पत्रे लिखति।

Why the stronger approach works उभौ पुनः तमे एव बैचे पठितवन्तौ। केवलं दृढः गणयति तान् चिह्नान् यान् एषः प्रशिक्षणं न उपयुज्यते।

Try a changed situation भवतः त्रिशतयुग्मेषु एकसप्ततिः समतुल्यानि सन्ति। क्रीणकर्त्ता अस्मिन सप्ताहे प्रत्यक्ष-पसन्द्-प्रशिक्षणं इच्छति।

Make something yourself युग्मानां तेषां चिह्नितानां बैचं गृह्णीथाः। समतुल्यानां सङ्ख्या कथयतु, च प्रत्यक्ष-पसन्द्-प्रशिक्षणपूर्वं तेषां सह किं कर्तुम् इच्छसि।

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)