Skip to lesson

मशीनने अनुवादित केले आहे. इंग्रजी आणि हिंदी ही पुनरावलोकित आवृत्त्या आहेत.Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

निशान लावणारा मॉडेल तपासा

What this lesson is about

तुमच्या स्वतःच्या निशानांशी मॉडेल ग्रेडरची तुलना करा, आणि त्या तीन सवयी तपासा ज्या त्याच्या आकड्यांना निरर्थक करतात.

तुमच्या खरेदीदाराला आठवड्यात दोन हजार उत्तरांवर निशान हवे आहेत आणि तो मॉडेल देतो. तुम्ही कुठून सुरुवात कराल?

Why this matters

मॉडेल एका मंडळापेक्षा खूप जास्त उत्तरांवर निशान लावू शकतो. एका प्रकाशित अभ्यासात एक मजबूत मॉडेल लोकांशी सुमारे ८०% वेळा जुळले. दोन लोकही एवढेच जुळतात. त्या अभ्यासात तपासायच्या सवयीही दिल्या आहेत: लांब उत्तर जिंकते, आधी दाखवलेले उत्तर जिंकते, आणि मॉडेलला स्वतःची लिहीलेली उत्तरं आवडतात.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)