യന്ത്രം വിവർത്തനം ചെയ്തതാണ്. ഇംഗ്ലീഷ്, ഹിന്ദി പരിശോധിച്ച പതിപ്പുകളാണ്.English हिन्दी

Learn
See
Try
Make

നേരിട്ടുള്ള മുൻഗണന പരിശീലനം

What this lesson is about

രണ്ടു വഴികളും താരതമ്യം ചെയ്യുക: സ്കോറർ പരിശീലിപ്പിച്ച് RL ഉപയോഗിക്കുക, അല്ലെങ്കിൽ മോഡൽ നേരിട്ട് ജോഡിയിൽ നിന്ന് മാറ്റുക.

ഒരു സ്ഥാപനം നിങ്ങളുടെ സംഘത്തിന് ഇനി ഈ ജോലിക്ക് സ്കോറർ ഉണ്ടാക്കില്ലെന്ന് പറയുന്നു. മുറിയിൽ ആരും അതിന്റെ അർത്ഥം മനസ്സിലാക്കുന്നില്ല.

Why this matters

പഴയ വഴി നിങ്ങളുടെ ജോഡികളിൽ നിന്നു സ്കോറർ പരിശീലിപ്പിച്ച് പിന്നീട് RL ഉപയോഗിച്ച് മോഡൽ മെച്ചപ്പെടുത്തുന്നു. 2023-ൽ പ്രസിദ്ധീകരിച്ച നേരിട്ടുള്ള മുൻഗണന പരിശീലനം സ്കോറർ ഒഴിവാക്കി തിരഞ്ഞെടുക്കപ്പെട്ടും നിരസിക്കപ്പെട്ടും മറുപടികളിൽ നിന്നു നേരിട്ട് മോഡൽ മാറ്റുന്നു. നിങ്ങളുടെ മാർക്കിംഗ് രീതിയിൽ മാറ്റമില്ല. ഒരു പതിവ് ഇപ്പോൾ കൂടുതൽ വിലയേറിയതാണ്: തുല്യമായി അടയാളപ്പെടുത്തിയ ജോഡി ഈ വഴിക്ക് ഒന്നും നൽകുന്നില്ല.

നേരിട്ടുള്ള മുൻഗണന പരിശീലനം പഴയ രണ്ട് ഘട്ട വഴിയുമായി എങ്ങനെ വ്യത്യസ്തമാണ്, നിങ്ങളുടെ ബാച്ചിൽ നിന്ന് എന്താണ് ഇത് ആവശ്യപ്പെടുന്നത് എന്ന് പറയുക.

നേരിട്ടുള്ള മുൻഗണന പരിശീലനം മോഡൽ നേരിട്ട് തിരഞ്ഞെടുക്കപ്പെട്ടും നിരസിക്കപ്പെട്ടും മറുപടികളിൽ നിന്നു മാറ്റുന്നു.
പഴയ വഴി രണ്ട് ഘട്ടങ്ങൾ ആവശ്യപ്പെടുന്നു: സ്കോറർ പഠിപ്പിക്കുക, തുടർന്ന് RL ഉപയോഗിച്ച് മോഡൽ മെച്ചപ്പെടുത്തുക.
നിങ്ങളുടെ ബാച്ചിൽ പരിശോധിക്കേണ്ട സംഖ്യ തുല്യമായി അടയാളപ്പെടുത്തിയ ജോഡികളുടെ എണ്ണം ആണ്.

Task

ഒരു വാങ്ങുന്നവൻ നിങ്ങളുടെ സംഘം നേരിട്ടുള്ള മുൻഗണന റണ്ണിനായി മൂന്നു നൂറ് പഴയ ജോഡികൾ വീണ്ടും പരിശോധിക്കാൻ പറയുന്നു.

Weak approach പഴയ മാർക്കുകൾ മതിയെന്ന് പറയുന്നു, കാരണം മറുപടികൾ മാറിയിട്ടില്ല, നല്ലതെന്ന് അടയാളപ്പെടുത്തിയതും ഉണ്ട്. ഷീറ്റ് തുറക്കാതെ മുഴുവൻ മൂന്നു നൂറും അയയ്ക്കുന്നു.

Stronger approach ആദ്യം തുല്യമായ മാർക്കുകൾ എണ്ണുന്നു, മൂന്നു നൂറിൽ 41 കണ്ടെത്തുന്നു. അവ തീരുമാനിക്കാൻ അല്ലെങ്കിൽ ഒഴിവാക്കാൻ തിരികെ അയയ്ക്കുന്നു, കാരണം ഷീറ്റിൽ എഴുതുന്നു.

Why the stronger approach works രണ്ടുപേരും ഒരേ ബാച്ച് വീണ്ടും വായിച്ചു. ശക്തമായവ മാത്രമാണ് ഈ റണ്ണ് ഉപയോഗിക്കാത്ത മാർക്കുകൾ എണ്ണുന്നത്.

Try a changed situation നിങ്ങളുടെ മൂന്നു നൂറു ജോഡികളിൽ 41 തുല്യമാണ്. വാങ്ങുന്നവൻ ഈ ആഴ്ച നേരിട്ടുള്ള മുൻഗണന റണ്ണ് വേണമെന്ന് പറയുന്നു.

Make something yourself നിങ്ങൾ അടയാളപ്പെടുത്തിയ ജോഡികളുടെ ഒരു ബാച്ച് എടുക്കുക. തുല്യമായത് എത്രയെന്ന് റിപ്പോർട്ട് ചെയ്യുക, നേരിട്ടുള്ള മുൻഗണന റണ്ണിന് മുമ്പ് അവയുമായി നിങ്ങൾ എന്ത് ചെയ്യും എന്ന് പറയുക.

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)