निशान लगाबय बला मॉडल के जाँच करू

What this lesson is about

अपने निशान सँ एक मॉडल ग्रेडर के मापू, आ ओकर तीन आदत सभ के परख करू जे ओकर आँकड़ा के बेकार बना दैत अछि।

अहाँक ग्राहक हरेक सप्ताह दुइ हजार उत्तर पर निशान चाहैत अछि आ एकटा मॉडल दैत अछि। अहाँ कतय सँ शुरू करब?

Why this matters

मॉडल एकटा मंडली सँ बहुत बेसी उत्तर पर निशान लगा सकैत अछि। एक प्रकाशित अध्ययन में एक मजबूत मॉडल के लोकक संग लगभग अस्सी प्रतिशत मेल नापल गेल, जे दू लोकक बीच मेल जेकाँ अछि। ओहि अध्ययन में तीन आदत सभ के नाम देल गेल अछि जे परखबाक अछि: लंबा उत्तर जीतैत अछि, पहिल देखाओल उत्तर जीतैत अछि, आ मॉडल अपन लिखाई पसंद करैत अछि।

उत्तर पर निशान लगाबय बला मॉडल के अपने निशान सँ जाँचू, तखन ओकर एकटा आँकड़ा पर भरोसा करू।

पहिने एकटा सेट पर हाथ सँ निशान लगाउ, तकर बाद गिनू जे मॉडल कतबा बेर अहाँ सँ सहमत अछि।
तीन आदत सभ के परख करू: लंबा उत्तर जीतब, पहिल उत्तर जीतब, आ मॉडल के अपन लिखाई पसंद करब।
सहमति के आँकड़ा गिनती संग प्रकाशित करू, मॉडल के स्कोर अकेले नहि।

Task

एकटा टीम चाहैत अछि जे मॉडल हरेक सप्ताह दुइ हजार हिंदी उत्तर पर निशान लगाबय।

Weak approach मॉडल के सभ दुइ हजार पर चला दैत अछि, पास दर बतबैत अछि, आ कहैत अछि जे किछु निशान ठीक लगैत अछि। हाथ सँ ककरो पर निशान नहि लगबैत अछि।

Stronger approach पहिने अस्सी उत्तर पर हाथ सँ निशान लगबैत अछि। मॉडल साठ-दो पर सहमत अछि, आ अठारह विभाजन में चौदह लंबा उत्तर के पक्ष में अछि। बाकी चलाबय सँ पहिने दुनू गिनती बतबैत अछि।

Why the stronger approach works दुनू मॉडल के उपयोग कएलक। मात्र मजबूत जवाब कहि सकैत अछि जे ओकर आँकड़ा के की मूल्य अछि।

Try a changed situation मॉडल दस में सँ सात जोड़ी पर पहिल देखाओल उत्तर के ऊपर राखैत अछि। अहाँक निशान बराबर बाँटल अछि।

Make something yourself चालीस उत्तर पर हाथ सँ निशान लगाउ, फेर ओहि चालीस पर मॉडल सँ निशान लगाबू। सहमति बताउ आ विभाजन के पीछे के आदत के नाम करू।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)