તમારા લેબલ્સ ક્યાં જાય છે

What this lesson is about

તમારા સ્ક્રીન પરથી રેટિંગ બેચને ટ્રેનિંગ રન સુધી અનુસરો, અને માર્ગમાં તે પસાર થતી ચકાસણીઓ શોધો.

તમે શુક્રવારે બે સો રોઝ પૂરા કરીને મોકલતા હો. તમારું કઝિન પૂછે છે કે શું મોડેલ તે જ રાત્રે બદલાય છે?

Why this matters

પ્રકાશિત સહાયક રન આ ચક્રને સ્પષ્ટ રીતે વર્ણવે છે. બેચો એકઠા થાય છે, એક ભાગ અલગ રાખવામાં આવે છે, મોડેલ ટ્રેન થાય છે, અને બદલાયેલા મોડેલ પર નવા બેચ આવે છે. રન પર પછી વિશ્વાસ બે બાબતોથી થાય છે. એક અલગ રાખેલ સેટ — જે પર મોડેલ ક્યારેય ટ્રેન ન થાય — તેને રિપેર દરમિયાન ન વાંચવું જોઈએ. અને દરેક બેચ સાથે લખેલું હોવું જોઈએ કે કોણે અને ક્યારે લેબલ લગાવ્યા.

તમારા સ્ક્રીન પરથી એક રેટિંગ બેચને ટ્રેનિંગ રન સુધી અનુસરો, અને માર્ગમાં ચકાસણીઓનું નામ કહો.

તમારો બેચ અન્ય બેચો સાથે એકઠો થાય છે અને પછી વિભાજિત થાય છે: મોટાભાગ રનમાં જાય છે, થોડું અલગ રાખવામાં આવે છે.
અલગ રાખેલ ભાગ તરત જ ખર્ચ થાય છે જ્યારે કોઈ તેની ખામીઓ વાંચીને રિપેર કરે.
લખો કે કોણે અને ક્યારે લેબલ લગાવ્યા, કારણ કે નામ વગરનો બેચ પછી ચકાસી શકાય નહીં.

Task

ટીમ પૂછે છે કે ગયા મહિના ના બારસો લેબલ લગાવેલા જોડી ક્યાં ગયા નવા મોડેલની ચકાસણી પહેલા.

Weak approach કહે છે કે બધા ટ્રેનિંગ રનમાં ગયા અને નવા મોડેલનો જવાબ વધુ સારો છે, એટલે લેબલિંગ કામ કર્યું. કોઈ બેચનું નામ, ગણતરી કે તારીખ નથી.

Stronger approach ટ્રેસ કરે છે: હજાર રનમાં, બે સો અલગ રાખવામાં. તે બે સો માંથી બે રિપેર દરમિયાન વાંચાયા, એટલે રિપોર્ટમાં એક સો અણનવ લખાય છે.

Why the stronger approach works નબળો ટ્રેસ મોડેલ વધુ સારું લાગવાનું જ કહે છે. મજબૂત ટ્રેસ શું અલગ રાખ્યું અને શું ખર્ચ થયું તે કહે છે.

Try a changed situation એક પાર્ટનર તમારા અલગ રાખેલા ભાગમાંથી એક આંકડો માંગે છે. તેના છ આઇટમ્સ માર્ગદર્શિકા સુધારતી વખતે વાંચાયા હતા.

Make something yourself તમારા એક બેચનો માર્ગ દોરો. કોણે લેબલ લગાવ્યા, શું ટ્રેનિંગમાં આવ્યું, શું અલગ રાખ્યું, શું ખર્ચ થયું.

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)