निशान लगाण वाला मॉडल परखो

What this lesson is about

अपने निशानां नाल मॉडल ग्रेडर दी तुलना करो, अते ओह तीन आदतां दी जांच करो जिणा कारण ओहदा आंकड़ा बेकार हो जांदा ऐ।

तुहाडा काम देन वाला हर हफ्ते दो हजार जवाबां ते निशान चाहंदा ऐ अते इक मॉडल दिंदा ऐ। तुसीं कित्थों शुरू करोगे?

Why this matters

मॉडल इक मंडली नालों बहुत ज्यादा जवाबां ते निशान लगा सकदा ऐ। इक प्रकाशित अध्ययन विच इक मजबूत मॉडल दा लोगां नाल करीब अस्सी प्रतिशत मेल पाया गया, जिहड़ा दो लोकां दा मेल होवे। ओह अध्ययन ओह आदतां वी दसदा ऐ जिणा नू परखना जरूरी ऐ: लंबा जवाब जीतदा ऐ, पहला दिखया जवाब जीतदा ऐ, अते मॉडल नू अपनी लिखाई पसंद ऐ।

जदों तक तुसीं मॉडल दे एक-एक आंकड़े ते भरोसा न करो, अपने निशानां नाल मॉडल नू परखो।

पहले इक सेट नू हाथ नाल निशान लगाओ, फेर गिनो कि मॉडल तुहाडे नाल कितनी वार मेल खांदा ऐ।
तीन आदतां दी जांच करो: लंबा जवाब जीतना, पहला जवाब जीतना, अते मॉडल नू अपनी लिखाई पसंद आना।
मेल दा आंकड़ा गिनती नाल प्रकाशित करो, मॉडल दा स्कोर अकेल्ला कदे वी न बताओ।

Task

इक टीम चाहंदी ऐ कि मॉडल हर हफ्ते दो हजार हिंदी जवाबां ते निशान लगाए।

Weak approach मॉडल नू सारे दो हजार जवाबां ते चला दिंदी ऐ, पास होण दा आंकड़ा दिंदी ऐ, अते कहंदी ऐ कि कुछ निशान समझदारी वाले लगदे ने। पर खुद इक वी जवाब नू हाथ नाल निशान नहीं लगांदी।

Stronger approach पहले अस्सी जवाबां ते हाथ नाल निशान लगांदी ऐ। मॉडल साठ-दो जवाबां ते मेल खांदा ऐ, अते अठारह विचों चौदां अलगाव लंबा जवाब जितदा ऐ। बाकी जवाबां ते चलाण तो पहले दोहां गिनतियां दिंदी ऐ।

Why the stronger approach works दोहां ने मॉडल इस्तेमाल कित्ता। सिर्फ मजबूत जवाब दस सकदा ऐ कि मॉडल दे आंकड़े दी कीमत की ऐ।

Try a changed situation मॉडल दस विचों सात जोड़ियां विच ऊपर वाला जवाब जिता दिंदा ऐ। तुहाडे अपने निशान बराबर बंटे ने।

Make something yourself चालीस जवाबां ते हाथ नाल निशान लगाओ, फेर ओहने चालीस जवाबां ते मॉडल नू निशान लगाण दो। मेल दसो अते अलगावां दी आदत दा नाम बताओ।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)