उत्तर लिखू, फेर तीन प्रयास के अंक लगाउ

What this lesson is about

पहिने ओहि नमूना उत्तर के लिखू जाहि पर तोहर स्कोरिंग गाइड लागू होइत अछि, फेर ओकरा सं तीन प्रयास के अंक लगाउ।

तोहर प्रोजेक्ट तोरा शुक्रदिन तक चालीस जवाब के स्कोर करय लेल कहैत अछि, मुदा तुलना करय लेल किछु नहि देलक। पहिने की करब?

Why this matters

बिना लिखल उत्तर के अंक लगेनाइ भटकैत अछि: तेसर जवाब दोसर के तुलना में जाँचल जाइत अछि, टास्क के नहि। मॉडल ग्रेडर पर प्रकाशित काज में सेहो ग्रेडर के नमूना उत्तर देल जाइत अछि एहि कारण। तोहर उत्तर ओहि सोना मानक अछि जे लिस्टिंग में योगदान देबाक कहल जाइत अछि।

पहिने नमूना उत्तर लिखू, फेर ओकरा सं तीन प्रयास के अंक लगाउ।

पहिने उत्तर लिखू; बिना नमूना उत्तर के गाइड तेसर मामला तक भटकैत अछि।
उत्तर के आधार पर अंक लगाउ, नहि कि जवाब के सुनय में केना लगैत अछि।
प्रत्येक अंक तय करय वाली एक पंक्ति लिखू, जाहि सं दोसर ग्रेडर असहमत भ' सकय।

Task

लौटल कार्टन के टास्क पर तीन जवाब अबैत अछि, आ तीनू क्रेडिट मना करैत अछि।

Weak approach तीनू पढ़ि क' सबसँ लंबा के पहिने राखैत अछि, कारण ओ नीति विस्तार सं बुझबैत अछि। ओ प्रबंधक जेकाँ लगैत अछि। चार पंक्ति वाला जवाब के सबसे नीचाँ अंक दैत अछि कारण ओ सिधा-साधा अछि।

Stronger approach प्रत्येक जवाब के नमूना उत्तर सं तुलना करैत अछि। लंबा जवाब गलत कारण सं मना करैत अछि, तें पहिल पंक्ति के अंक गुमबैत अछि। चार पंक्ति वाला जवाब साठ दिन के अवधि आ रेस्टॉकिंग चार्ज के नाम दैत अछि, आ सबसँ ऊपर अंक पबैत अछि।

Why the stronger approach works कमजोर ग्रेडर जवाब सभ के एक-दोसर के तुलना में राखल। मजबूत ग्रेडर प्रत्येक जवाब के नमूना उत्तर सं मिलौल, एहि कारण दोसर ग्रेडर ओकर काज जाँचि सकैत अछि।

Try a changed situation एक मीडिया डेस्क तोरा एकहि प्रेस नोट के दू समाचार सार के स्कोर करय लेल कहैत अछि। एकटा चिक्कन भाषा में अछि, दोसर साधारण।

Make something yourself पहिल पाठ के अपन टास्क लिअ। ओकर नमूना उत्तर लिखू, फेर ओकरा सं तीन जवाब के अंक लगाउ। प्रत्येक अंक के नीचे ओहि पंक्ति लिखू जे अंक तय केलक।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)