ઇનામ મોડેલ શું છે

What this lesson is about

જોઈએ કે નિશાન લગાવેલી જોડીમાંથી શું બને છે: એક સ્કોરર, જે સાચા જવાબ પર નહીં પરંતુ તમારા ક્રમ પર તાલીમ પામે છે.

તમારા આઠસો નિશાન લગાવેલી જોડીઓનો બેચ સોમવારે લેબમાં જાય છે. એક સાથી પૂછે છે કે લેબ તેમાં શું બનાવશે.

Why this matters

પ્રકાશિત સારાંશ ચલાવટમાં આ જ માળખું જોવા મળે છે. નિશાન લગાવેલી જોડીથી સ્કોરર શીખે છે, અને મોડેલ પછી તે સ્કોરર સામે સુધારાય છે. એટલે તમારી જોડી એ જવાબ નથી જે મોડેલ નકલ કરશે. તે સ્કોરરનું પોતાનું શીખવણું છે, અને મોડેલ પછી તે સ્કોરરને ખુશ કરવા માટે પ્રેરાય છે.

કહો કે ઇનામ મોડેલ શું છે, તે શું શીખે છે, અને એક નિશાન લગાવેલી જોડી શું બને છે.

ઇનામ મોડેલ એ સ્કોરર છે જે તમારી જોડીઓ પરથી શીખે છે, સાચા જવાબ પરથી નહીં.
એક જોડી માત્ર ક્રમ શીખવે છે: આ જવાબ તે પ્રશ્ન માટે બીજા જવાબ કરતાં શ્રેષ્ઠ છે.
મોડેલ પછી તે સ્કોર વધારવા માટે પ્રેરાય છે, એટલે નબળો સ્કોરર નબળા આદતો શીખવે છે.

Task

આઠસો નિશાન લગાવેલી આરોગ્ય સંબંધિત જવાબોની જોડીઓ તાલીમ માટે મોકલાય છે. કહો કે એક જોડી શું બને છે.

Weak approach કહે છે કે દરેક પસંદ કરેલો જવાબ મોડેલ માટે એક શીખવણું ઉદાહરણ બને છે. આઠસો જોડીઓને આઠસો આદર્શ જવાબ માનવી, જે મોડેલ નકલ કરશે.

Stronger approach કહે છે કે દરેક જોડી સ્કોરર માટે એક તુલના બને છે. સ્કોરર શીખે છે કે એક જવાબ બીજાથી શ્રેષ્ઠ છે. પછી મોડેલ તે સ્કોર વધારવા માટે પ્રેરાય છે.

Why the stronger approach works નબળા અર્થમાં પસંદ કરેલો જવાબ નકલ કરવા લાયક આદર્શ જવાબ બની જાય છે. જોડીમાં ક્રમ હોય છે, શબ્દો નહીં.

Try a changed situation દુકાન સમીક્ષા ટીમે મરાઠી જોડીઓ પર નિશાન લગાવ્યા છે. તેનો સ્કોરર હવે લગભગ હંમેશા લાંબા જવાબને ઉપર મૂકે છે.

Make something yourself આ અઠવાડિયે તમે જે એક જોડી પર નિશાન લગાવ્યું તે લો. લખો કે સ્કોરર તેમાંથી શું શીખે છે, અને એક વાત જે તે શીખી શકતું નથી.

Read the primary or official source: Stiennon et al., Learning to summarize from human feedback (arXiv)