प्रथमं उत्तरं लिखतु, ततः त्रयाणि प्रयासानि अंकयतु

What this lesson is about

येन संदर्भउत्तरं तव अंकनमार्गदर्शिकया परीक्षितं भवति तत् लिखतु, ततः तेन सह त्रयाणि प्रयासानि अंकयतु।

तव परियोजनं शुक्रवासरस्य पूर्वं चत्वारिंशत् प्रत्युत्तराणि अंकयितुं इच्छति, किन्तु तेषां समीपे किञ्चिदपि न दत्तम्। प्रथमं किं करिष्यसि?

Why this matters

लिखितं उत्तरं विना अंकनं विचलति: तृतीयं प्रत्युत्तरं द्वितीयस्य समीपे परीक्षितं भवति, कार्यस्य समीपे न। यन्त्रेण कृतानि अंकनानि अपि परीक्षकाय संदर्भउत्तरं दत्तं भवति। तव उत्तरं एव स्वर्णमानकं यत् सूचीकरणं तव योगदानं याचति।

प्रथमं संदर्भउत्तरं लिखतु, ततः तेन सह त्रयाणि प्रयासानि अंकयतु।

प्रथमं उत्तरं लिखतु; उत्तरं विना मार्गदर्शिका तृतीयं प्रकरणं प्रति विचलति।
उत्तरस्य आधारतः अंकं दत्तव्यम्, न प्रत्युत्तरस्य श्रवणरूपेण।
प्रत्येकस्य अंकस्य निर्णायकं एकपंक्तिं लिखतु, यथा द्वितीयः परीक्षकः अस्य विरोधं कर्तुं शक्नोति।

Task

प्रतिगृहीतपेटिकासम्बद्धस्य कार्यस्य त्रयः प्रत्युत्तराणि आगच्छन्ति, च त्रीणि ऋणं न स्वीकरन्ति।

Weak approach सर्वाणि त्रयाणि पठित्वा दीर्घतमं प्रथमं स्थापयति, यतः सः नियमं विस्तारपूर्वकं व्याख्यायते। सः प्रबन्धकवत् श्रोतव्यः। चतुरङ्कीयं प्रत्युत्तरं न्यूनतमं अंकं दत्तम्, यतः सः कठोरः इति।

Stronger approach प्रत्येकं प्रत्युत्तरं संदर्भउत्तरस्य समीपे धारयति। दीर्घं प्रत्युत्तरं अनुचितेन कारणेन ऋणं न स्वीकरति, अतः प्रथमपंक्तौ अंकं हानं करोति। चतुरङ्कीयं प्रत्युत्तरं षष्टिदिनपरिमितिं पुनःस्थापनशुल्कं च निर्दिशति, च उच्चतमं अंकं लभते।

Why the stronger approach works दुर्बलः परीक्षकः प्रत्युत्तराणि परस्परं तुलयति। दृढः परीक्षकः प्रत्येकं प्रत्युत्तरं उत्तरस्य समीपे अंकयति, अतः द्वितीयः परीक्षकः तस्य कार्यं परीक्षितुं शक्नोति।

Try a changed situation एकः सञ्चारमञ्चः तव समीक्षां याचति द्वयोः समप्रेस्सूचनापत्रयोः समाचारसारयोः। एकः सुसज्जितः, अन्यः सरलः।

Make something yourself प्रथमपाठस्य स्वकार्यं गृह्णीहि। तस्य संदर्भउत्तरं लिखतु, ततः तेन सह त्रयाणि प्रत्युत्तराणि अंकयतु। प्रत्येकस्य अंकस्य अधः तस्य निर्णायकं एकपंक्तिं लिखतु।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)