All learning paths Learn See Try Make પસંદગીઓના બેચની ઓડિટ કરો What this lesson is about પસંદગીઓના માર્ક્સનો બેચ ખોલો અને ગણો કે સ્કોરર તેમાંથી કઈ ખામીઓ શીખશે, પછી નોંધ લખો.
નવસો માર્ક કરેલી જોડીનો બેચ લેબમાં જવા પહેલા તમારી મેજ પર આવે છે. તમે પહેલા શું ગણશો?
A કેટલાય જોડી દરેક વ્યક્તિએ પૂર્ણ કરી છે, જેથી ધીમી મેજ લેબની ફરિયાદ પહેલા ઓળખાય. B ત્રણ ખામીઓ સ્કોરરને બગાડે છે: લાંબાઈ જીતવી, પહેલા બતાવેલો જવાબ જીતવો, અને એક સમીક્ષકનો એકલો માર્ક. C ચૂકાયેલા જવાબો વાંચવા યોગ્ય છે કે નહીં, કારણ કે સારા જવાબો સારો બેચ બનાવે છે.
Check my recall Why this matters એક પ્રકાશિત સહાયક પ્રોજેક્ટે પોતાની ટીમ અને પેઇડ સમીક્ષકો વચ્ચે લગભગ ત્રેસઠ ટકા સમજૂતી માપી હતી. કઠિન કેસ પર સાવચેત કામ આવું જ દેખાય છે. તેથી જે બેચ લગભગ સંપૂર્ણ રીતે સમજૂતી આપે તે પહેલા ખોલો અને તે આદત શોધો જે સ્કોરર નકલ કરશે.
પસંદગીઓના માર્ક્સના બેચની ઓડિટ કરો અને તે ખામીઓ શોધો જે સ્કોરર શીખશે. સાથે જ તે નોંધ લખો.
એક પ્રકાશિત સહાયક પ્રોજેક્ટે પોતાની ટીમ અને પેઇડ સમીક્ષકો વચ્ચે લગભગ ત્રેસઠ ટકા સમજૂતી માપી હતી. કઠિન કેસ પર સાવચેત કામ આવું જ દેખાય છે. તેથી જે બેચ લગભગ સંપૂર્ણ રીતે સમજૂતી આપે તે પહેલા ખોલો અને તે આદત શોધો જે સ્કોરર નકલ કરશે.
ત્રણ ખામીઓ સ્કોરરને બગાડે છે: લાંબાઈ જીતવી, પહેલા બતાવેલો જવાબ જીતવો, અને એક સમીક્ષકનો એકલો માર્ક. લગભગ સંપૂર્ણ સમજૂતી ઇનામ નહીં, ચેતવણી છે, કારણ કે કઠિન કેસ પર સાવચેત લોકો પણ વિભાજિત થાય છે. ગણતરી નમૂનાના કદ સાથે જણાવો અને કઈ ખામીની ચકાસણી ન કરી શક્યા તે લખો. Task હેલ્થ હેલ્પલાઇનની નવસો પસંદગી જોડીમાંથી સાઠની ઓડિટ કરો, તાલીમ પહેલા.
Weak approach સાઠ જોડી વાંચી દરેક માર્ક સમજદારીભર્યો લાગે છે અને લખે કે બેચ સાફ છે અને જઈ શકે છે. કશું ગણતું નથી અને કોઈ સમીક્ષકનું નામ નથી લખતું.
Stronger approach ગણે છે: સાઠમાંથી અડતાલીસ વખત લાંબો જવાબ જીત્યો અને એકતાલીસ વખત પહેલા બતાવેલો જવાબ. બંને ગણતરી નમૂનાના કદ સાથે રિપોર્ટ કરે છે અને કહે છે કે ત્રીસ જોડીનું ક્રમ ઉલટાવી ફરીથી માર્કિંગ કરવી.
Why the stronger approach works બન્ને સમીક્ષકો એ જ સાઠ જોડી વાંચી. મજબૂત ઓડિટ તે વાંચનને બે ગણતરીમાં ફેરવે છે જે ખરીદદાર ચકાસી શકે.
Try a changed situation તમારા નમૂનાના સાઠ કઠિન જોડીમાંથી બન્ને સમીક્ષકો ૧૯૫૯ પર સહમત છે. ખરીદદાર તેને ઉત્તમ કામ કહે છે.
Make something yourself એક પસંદગી બેચના નમૂનાની ઓડિટ કરો. લાંબા જવાબની જીત અને પહેલા બતાવેલા જવાબની જીત ગણો, પછી બેચ સાથે જતી નોંધ લખો.
Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)