જવાબ લખો, પછી ત્રણ પ્રયાસો ચિહ્નિત કરો

What this lesson is about

તમારા સ્કોરિંગ માર્ગદર્શિકા લાગુ કરવાના સંદર્ભમાં જવાબ લખો, પછી તે જ સાથે ત્રણ પ્રયાસો ચિહ્નિત કરો.

તમારા પ્રોજેક્ટ માટે શુક્રવારે ચાળીસ જવાબો ચકાસવા છે, અને સામે રાખવા માટે કંઈ નથી. તમે પહેલા શું કરશો?

Why this matters

લખાયેલ જવાબ વિના ચિહ્નિત કરવું ખસે છે: ત્રીજો જવાબ બીજા સામે ચકાસાય છે, કાર્ય સામે નહીં. મોડેલ ગ્રેડર્સ પર પ્રકાશિત કાર્યમાં પણ ગ્રેડરને આ કારણસર સંદર્ભ જવાબ આપવામાં આવે છે. તમારો જવાબ એ સોનાનો ધોરણ છે જે સૂચિમાં આપવાનું કહેવામાં આવે છે.

સૌપ્રથમ સંદર્ભ જવાબ લખો, પછી તેના સામે ત્રણ પ્રયાસો ચિહ્નિત કરો.

સૌપ્રથમ જવાબ લખો; જવાબ વિના માર્ગદર્શિકા ત્રીજા કેસ સુધી ખસે છે.
જવાબના અવાજ પ્રમાણે નહીં, જવાબ સામે માર્ક કરો.
દરેક માર્ક નક્કી કરનાર એક પંક્તિ લખો, જેથી બીજો ચકાસનાર અસહમત થઈ શકે.

Task

લોટેલા કાર્ટન કાર્ય માટે ત્રણ જવાબ આવ્યા છે, અને ત્રણેય ક્રેડિટ નકારી દીધો છે.

Weak approach બધા ત્રણ વાંચી સૌથી લાંબો જવાબ પહેલા મૂકે છે, કારણ કે તે નિયમને વિગતે સમજાવે છે. તે મેનેજર જેવો લાગે છે. ચાર પંક્તિઓના જવાબને કડક કહી સૌથી ઓછો માર્ક આપે છે.

Stronger approach દરેક જવાબને સંદર્ભ જવાબ સામે મૂકે છે. લાંબો જવાબ ખોટા કારણથી નકારી દેતો હોવાથી પ્રથમ પંક્તિનું માર્ક ગુમાવે છે. ચાર પંક્તિઓનો જવાબ સત્તર દિવસની વિન્ડો અને રેસ્ટોકિંગ ચાર્જ જણાવે છે અને ટોચનો માર્ક મેળવે છે.

Why the stronger approach works નબળા ચિહ્નિત કરનાર જવાબોને એકબીજાના સામે તોળે છે. મજબૂત ચિહ્નિત કરનાર દરેક જવાબને સંદર્ભ જવાબ સામે મૂકે છે, તેથી બીજો ચકાસનાર તેનું કામ ચકાસી શકે છે.

Try a changed situation એક મીડિયા ડેસ્ક તમને એક જ પ્રેસ નોટના બે સમાચાર સારાંશો ચકાસવા કહે છે. એક ચમકદાર, બીજું સાદું.

Make something yourself પ્રથમ પાઠનું તમારું કાર્ય લો. તેનું સંદર્ભ જવાબ લખો, પછી તેના સામે ત્રણ જવાબો ચિહ્નિત કરો. દરેક માર્ક માટે તે એક પંક્તિ લખો કે જે માર્ક નક્કી કરે છે.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)