Skip to lesson

मेसिन अनुवाद गरिएको। अंग्रेजी र हिन्दी समीक्षा गरिएका संस्करणहरू हुन्।Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

निशान लगाउने मोडेल जाँच्नुहोस्

What this lesson is about

तपाईंको आफ्नै निशानसँग मोडेल ग्रेडरको तुलना गर्नुहोस्, र त्यसका तीन बानीहरू परीक्षण गर्नुहोस् जसले यसको आँकडा बेकार बनाउँछन्।

तपाईंको ग्राहकले हरेक हप्ता दुई हजार उत्तरहरू निशान लगाउन चाहन्छ र मोडेल दिन्छ। तपाईं कहाँबाट सुरु गर्नुहुन्छ?

Why this matters

मोडेलले धेरै उत्तरहरू निशान लगाउन सक्छ जुन एउटा समूहले गर्न सक्दैन। प्रकाशित अध्ययनले देखाएको छ कि एक बलियो मोडेल मानिसहरूसँग करिब ८०% सहमत हुन्छ, जुन दुई मानिसबीचको सहमतिका बराबर हो। सोही अध्ययनले परीक्षण गर्नुपर्ने बानीहरू पनि बताउँछ: लामो उत्तरले जित्छ, पहिलो देखाइएको उत्तरले जित्छ, र मोडेललाई आफ्नै लेखाइ मन पर्छ।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)