यः मॉडलः निशानानि निर्दिशति तं परीक्ष्यताम्

What this lesson is about

स्वनिशानैः सह तं मॉडल्-ग्रेडरं मापनं कुर्वन् तस्य त्रयाणां स्वभावानां परीक्षणं कुर्व। यैः तस्याङ्कः व्यर्थः भवति।

तव ग्राहकः प्रतिसप्ताहं द्विसहस्रं उत्तराणि निशानयितुं इच्छति, च तस्मै मॉडल् दत्तः। कुत्र आरभसे?

Why this matters

मॉडलः वृत्तात् बहूनि उत्तराणि निशानयितुं शक्नोति। प्रकाशिते अध्ययनं दृढं मॉडलं जनैः सह लगभग अष्टाशीतिशतं सहमतिं दर्शयति। द्वौ जनौ एव तादृशं सहमतिं कुर्वतः। तस्मिन्नेव अध्ययनं परीक्षणीयानां स्वभावानां नामानि निर्दिष्टानि: दीर्घतरं उत्तरं विजेतृ, प्रथमं प्रदर्शितं उत्तरं विजेतृ, च मॉडलः स्वलेखं प्रीयते।

उत्तराणां निशानं कुर्वन् मॉडलं स्वनिशानैः परीक्ष्य, तस्मात् तस्यैकस्याङ्कस्य विश्वासः कर्तव्यः।

प्रथमं हस्तेन एकसङ्ग्रहं निशानय, ततः यथाकदा मॉडल् तव सहमतिं करोति तद् गणय।
त्रयः स्वभावाः परीक्ष्यताम्: दीर्घतरं उत्तरं विजेतृ, प्रथमं उत्तरं विजेतृ, च मॉडलस्य स्वलेखस्य प्रियता।
सहमति-सङ्ख्यया सह सङ्ख्यां प्रकाशय, केवलं मॉडलस्य स्वाङ्कं न प्रकाशय।

Task

एकः दलः इच्छति यत् मॉडलः प्रतिसप्ताहं द्विसहस्रं हिन्दी उत्तराणि निशानयेत्।

Weak approach सम्पूर्णेषु द्विसहस्रेṣu मॉडल् सञ्चालयति, उत्तीर्णता सङ्ख्यां वदति, च किञ्चन उत्तरेषु निशानानि युक्तानि इति वदति। किंचित् अपि हस्तेन निशानं न करोति।

Stronger approach प्रथमं अष्टाशीतिं हस्तेन निशानयति। मॉडलः षष्टिद्वयं सहमतिं करोति, अष्टादश विभाजनेषु च चतुर्दश दीर्घतरस्य उत्तरस्य पक्षे भवन्ति। शेषं सञ्चालयित्वा पूर्वं उभयोरपि सङ्ख्याः प्रकाश्यन्ते।

Why the stronger approach works उभौ मॉडल् उपयुज्यते। केवलं दृढः एव कथयितुं शक्नोति यत् तस्याङ्कस्य मूल्यं किम् अस्ति।

Try a changed situation दश युग्मेषु सप्त युग्मेषु प्रथमं प्रदर्शितं उत्तरं शीर्षे विजेतृ। तव स्वनिशानानि समं विभक्तानि।

Make something yourself चत्वारिंशत् उत्तराणि हस्तेन निशानय, ततः तैः चत्वारिंशत् उत्तरैः मॉडल् निशानयतु। सहमति प्रकाशय, च विभाजनेषु स्वभावस्य नाम्नि निर्दिश।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)