સિધી પસંદગી તાલીમ

What this lesson is about

બે રસ્તાઓની તુલના કરો: સ્કોરર તાલીમ આપવી અને RL નો ઉપયોગ કરવો, અથવા મોડેલને સીધા જોડીમાંથી ખસેડવું.

એક સંસ્થા તમારા ગ્રુપને કહે છે કે હવે તે આ કામ માટે સ્કોરર બનાવશે નહીં. રૂમમાં કોઈને સમજાતું નથી કે તેનો અર્થ શું છે.

Why this matters

જૂનો માર્ગ તમારા જોડીઓમાંથી સ્કોરર શીખવે છે, પછી RL વડે મોડેલને તેને સામે સુધારે છે. 2023માં પ્રકાશિત સીધી પસંદગી તાલીમ સ્કોરર હટાવીને મોડેલને સીધા પસંદ કરેલા અને નકારી દેવાયેલા જવાબથી ખસેડે છે. તમારું ચિહ્નન બદલાતું નથી. એક આદત હવે વધુ ખર્ચાળ છે: બરાબરીના ટાઈ સાથે ચિહ્નિત જોડીઓ આ માર્ગને કશું નથી આપતી.

કહો કે સીધી પસંદગી તાલીમ જૂના બે-પગલાનો માર્ગથી કેવી રીતે અલગ છે અને તે તમારા બેચથી શું માંગે છે.

સીધી પસંદગી તાલીમ મોડેલને સીધા પસંદ કરેલા અને નકારી દેવાયેલા જવાબથી ખસેડે છે.
જૂનો માર્ગ બે પગલાં માંગે છે: પહેલા સ્કોરર શીખવો, પછી RL વડે મોડેલ સુધારો.
તમારા બેચમાં તપાસવાની સંખ્યા એ છે કે તમે કેટલી જોડીઓ પર બરાબરીનું ચિહ્ન લગાવ્યું છે.

Task

ખરીદદાર તમારા ગ્રુપને કહ્યું કે ૩૦૦ જૂની જોડીઓ ફરીથી ચકાસો સીધી પસંદગી રન માટે.

Weak approach કહે છે કે જૂના ચિહ્નો ચાલશે, કારણ કે જવાબો બદલાયા નથી અને સારું જવાબ પહેલેથી જ ટિક છે. ૩૦૦ જોડીઓ બિનખોલ્યા મોકલી દે છે.

Stronger approach સૌપ્રથમ ટાઈઝની ગણતરી કરે છે અને ૩૦૦માં ૪૧ પાય છે. તેમને પાછા મોકલે છે નક્કી કરવા કે કાઢવા માટે અને કારણ શીટ પર લખે છે.

Why the stronger approach works બન્ને એ જ બેચ ફરી વાંચ્યો. માત્ર મજબૂત વાળો એ ચિહ્નો ગણે છે જે આ પ્રકારનું રન ઉપયોગ કરી શકતું નથી.

Try a changed situation તમારી ૩૦૦ જોડીઓમાં ૪૧ પર બરાબરીનું ચિહ્ન છે. ખરીદદાર આ અઠવાડિયે સીધી પસંદગી રન માંગે છે.

Make something yourself તમે ચિહ્નિત કરેલી જોડીઓનો બેચ લો. જણાવો કે કેટલા ટાઈઝ છે અને સીધી પસંદગી રન પહેલાં તમે તે સાથે શું કરશો.

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)