Skip to lesson

મશીન દ્વારા અનુવાદિત. અંગ્રેજી અને હિન્દી સમીક્ષિત સંસ્કરણો છે.Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

નિશાન લગાવનારા મોડેલની ચકાસણી કરો

What this lesson is about

તમારા પોતાના નિશાનો સામે મોડેલ ગ્રેડરનું માપ કરો, અને તે ત્રણ આદતોની ચકાસણી કરો જે તેના આંકડાને બેકાર બનાવે છે.

તમારા ખરીદદાર દર અઠવાડિયે બે હજાર જવાબો પર નિશાન માંગે છે અને તે માટે મોડેલ આપે છે. તમે ક્યાંથી શરૂ કરશો?

Why this matters

મોડેલ એક વર્ગ કરતાં ઘણાં વધુ જવાબો પર નિશાન લગાવી શકે છે. એક પ્રકાશિત અભ્યાસમાં એક મજબૂત મોડેલ લોકો સાથે આશરે અસી ટકા સહમત જોવા મળ્યો, જેટલું બે લોકો વચ્ચે હોય છે. એ જ અભ્યાસમાં તે આદતોનું નામ આપવામાં આવ્યું છે જેને ચકાસવું જરૂરી છે: લાંબો જવાબ જીતે છે, પહેલો બતાવેલો જવાબ જીતે છે, અને મોડેલ પોતાની લખાણને પસંદ કરે છે.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)