यत् परीक्षां विफलतां दातुं शक्नोति तस्य रूपरेखा कुरुत

What this lesson is about

सुलभानि, क्लिष्टानि च निश्चिन्तानि च वस्तूनि युक्तं लघु-परीक्षा-सङ्ग्रहं निर्मायत। ततः उत्तीर्णाङ्कः किञ्चित् अर्थं वहति।

भवान् हिन्दी-बस-सूची-सहायकाय दश परीक्षणप्रश्नाः याः सर्वाः तस्य यथावत् सम्यक् उत्तराणि दत्तानि सन्ति। तान् परीक्षितुम् पूर्वं किं परिवर्तयेत्?

Why this matters

यः परीक्षण-सङ्ग्रहः प्रणाली-निर्माणानन्तरं चयनं क्रियते सः सामान्यतया पूर्वमेव कृतान् निर्णयान् मापयति।

लघु-परीक्षा-सङ्ग्रहं निर्मायत यः अंकः पतितुं शक्नोति, च पूर्वमेव लिखतु यत् प्रत्येकः प्रश्नः किं परीक्षते।

एवं वस्तूनि योजयतु यासु प्रणाली अद्य विफलतां प्राप्नुयात्।
परीक्षा सञ्चालयितुं पूर्वं अपेक्षितं उत्तरं लिखतु।
प्रत्येकस्य प्रश्नस्य सुलभः, क्लिष्टः वा निश्चिन्तः इति लेबलं दत्तव्यं।

Task

हिन्दी-बस-समय-सूची-सहायकाय दश प्रश्नानां सङ्ग्रहः।

Weak approach सहायता-केंद्रस्य स्वस्य कॉल्-लॉग् इत्यस्मात् दश वास्तविकाः प्रश्नाः सङ्गृह्यन्ते। किञ्चित् अपि सञ्चालयित्वा पूर्वं प्रत्येकस्य अपेक्षितं उत्तरं लिखति। सर्वे दश प्रश्नाः याः सहायकः पूर्वमेव उत्तरं दत्तवान्, तस्मात् एषा सूचीः किञ्चित् अपि स्कोरेण हानिं न प्राप्नोति।

Stronger approach चत्वारि दैनन्दिन प्रश्नाः। चत्वारि ज्ञाताः दोषाः यथा रात्रि-बसः, नामपरिवर्तितः स्थानः। द्वौ प्रश्नौ येषु कर्मकरः स्वयम् मतभेदं कुर्वन्ति। प्रत्येकस्य अपेक्षितं उत्तरं पूर्वमेव लिखितम्।

Why the stronger approach works मजबूतः सङ्ग्रहः हानिं सूचयितुं शक्नोति। एतत् एव तस्य सञ्चालनस्य कारणम्।

Try a changed situation त्वं अधुना सामान्य-सेवा-केंद्रे फॉर्म्-पूर्तिकर्तृ-सहायकस्य परीक्षणं कुर्वसि। कः नियमः अपि तत्र लागू भवति?

Make something yourself यत् कार्यं त्वया सुपरीक्षितं तस्मै षट् परीक्षण-वस्तूनि निर्मातुं। द्वे सुलभे, द्वे क्लिष्टे, द्वे च निश्चिन्ते चिन्तय। परीक्षणं आरभ्य पूर्वं प्रत्येकस्य अपेक्षितं उत्तरं लिख।

Read the primary or official source: Holistic Evaluation of Language Models