Skip to lesson

मशीनने अनुवादित केले आहे. इंग्रजी आणि हिंदी ही पुनरावलोकित आवृत्त्या आहेत.Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

थेट पसंती प्रशिक्षण

What this lesson is about

दोन मार्गांची तुलना करा: स्कोरर प्रशिक्षित करा आणि RL वापरा, किंवा मॉडेल थेट जोड्यांमधून हलवा.

संस्थेने मंडळाला सांगितले की ती आता स्कोरर तयार करणार नाही. खोलीत कुणालाही याचा अर्थ समजत नाही.

Why this matters

जुना मार्ग तुमच्या जोड्यांमधून स्कोरर शिकवतो, नंतर RL वापरून मॉडेल सुधारतो. 2023 मध्ये प्रकाशित झालेला थेट पसंती प्रशिक्षण हा स्कोरर काढून टाकतो आणि निवडलेल्या व नाकारलेल्या उत्तरांमधून थेट मॉडेल हलवतो. तुमच्या मार्किंगमध्ये काही बदल होत नाही. एक सवय आता महाग पडते: टाय म्हणून मार्क केलेली जोडी या मार्गाला काहीच देत नाही.

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)