પસંદગીઓથી તાલીમ સંકેત સુધી

What this lesson is about

બે જવાબોમાંથી પસંદગી શું પકડે છે તે જુઓ. માર્ગદર્શિકા અથવા સમીક્ષકો જ્યારે અસહમત હોય ત્યારે શું ચૂકી જાય છે તે જુઓ.

તમારા શીટમાં સોમવારેના બેચમાંથી એક જવાબ છે અને બીજું એક અલગ પ્રશ્નનું છે. તમે શું સુધારશો?

Why this matters

પસંદગી એટલી જ સારી હોય છે જેટલું તેની પાછળનું કાર્ય અને રૂબ્રિક — જે સૂચવે છે કે સારો જવાબ કેવો હોવો જોઈએ. તે સમીક્ષકની જાણકારી અને અસહમતિ કેવી રીતે નિકાળી જાય તે પણ દર્શાવે છે. રૂબ્રિકની દરેક પંક્તિ એક માપદંડ છે — એક નામવાળી ગુણવત્તા જેના પર તમે મૂલ્યાંકન કરો છો.

બે જવાબોમાંથી પસંદગી શું પકડે છે અને અસહમતિ ક્યારે નિકાળી શકાય તે સમજાવો.

એક જ પ્રશ્ન માટે એવા જવાબો સાથે જોડાણ કરો જેની તુલના કરી શકાય.
ફક્ત A કે B નહીં, નિર્ધારક માપદંડ નોંધો.
યોગ્ય અસહમતિને સાબિતી તરીકે લો કે કાર્યમાં સુધારાની જરૂર છે.

Task

બે સમીક્ષકો એક જ રિફંડ પ્રશ્નના બે જવાબોની તુલના કરે છે. રૂબ્રિકમાં ચોકસાઈ અને લહજા નામ છે, અને લંબાઈ વિશે કંઈ નથી.

Weak approach બન્ને જવાબો બે વાર વાંચે છે અને બીજું પસંદ કરે છે, કારણ કે તે વધુ શિષ્ટ લાગે છે. બોક્સમાં B લખીને આગળ વધે છે. જે રૂબ્રિક લાઇન આ નિર્ણય લાવી હતી તે શીટ પર ક્યાંય નથી. આવતી કાલે કોઈ કહી શકશે નહીં કે લહજાએ જીત્યું કે ચોકસાઈએ.

Stronger approach બીજું પસંદ કરે છે અને તે લાઇન લખે છે જેમાં તે જીત્યું: પ્રથમ જવાબમાં ચૌદ દિવસની વિન્ડો નથી. પછી સૂચવે છે કે રૂબ્રિક ક્યારેય નથી કહેતી કે નાનો સાચો જવાબ લાંબા સાચા જવાબ કરતાં વધુ સારું છે કે નહીં.

Why the stronger approach works બન્ને સમીક્ષકો એ જ જવાબ પસંદ કર્યો, અને માત્ર એકજએ કારણ આપ્યું. આ જોડીમાંથી જે બનશે તે આગળનું પાઠ છે: માર્ક કરેલી લાઇન તે છે જે સ્કોરર શીખે છે. માત્ર B લખવાથી તે કંઈ શીખતું નથી.

Try a changed situation બે આરોગ્ય કર્મચારીઓ બે પત્રિકાઓમાં કઈ સ્પષ્ટ છે તે લઈને મતભેદમાં છે, અને બેઠક પાંચ મિનિટમાં પૂરી થાય છે. શીટમાં શું લખશો?

Make something yourself પસંદગીના ચાર પગલાં દોરો. પછી એક એવી જગ્યા નામો જ્યાં પક્ષપાત કે અસ્પષ્ટતા આવી શકે.

Read the primary or official source: Hugging Face Alignment Course