प्रक्षेपणात् पूर्वं परीक्षणसमूहं निर्मातुम्

What this lesson is about

पञ्चाशत् यथार्थप्रवेशान् लिखतु येषां प्रत्युत्तराणि त्वया अपेक्षितानि सन्ति, च यदा किञ्चिद् परिवर्तयसि तदा तान् सर्वदा सञ्चालय।

तव लघु उपकरणः कस्यचित् क्षेत्रस्य योजनां हिन्दीभाषायाम् व्याख्याति। विंशतिः जनाः आगामिन्याप्ते तद् प्राप्नुवन्ति। ततः पूर्वं किं निर्मातव्यं?

Why this matters

यः उपकरणः केवलं सरलप्रश्नेषु परीक्षितः स तेन परीक्षितः नास्ति। तस्य परीक्षणनियमः अस्ति यत् तस्मात् न निर्मितानां उदाहरणानां प्रयोगः कर्तव्यः। तव स्वस्य पञ्चाशत् यथार्थप्रवेशाः तदर्थं पर्याप्ताः।

यथार्थप्रवेशानां परीक्षणसमूहं प्रत्याशितप्रत्युत्तरैः सह निर्मातुम्, च प्रतिपरिवर्तने तं सञ्चालयितुम्।

पञ्चाशत् यथार्थप्रवेशान् प्रत्याशितप्रत्युत्तरैः सह लिखतु, च प्रतिपरिवर्तने तान् सञ्चालय।
ते प्रवेशाः अपि समावेश्य येषु त्वं दोषं अपेक्षसि, च तेषां दोषं अभिलेखय।
प्रतिफलानि तेषां दिनाङ्केन संस्करणेन च सह रक्षतु, न तर्हि हानिकारकपरिवर्तनं लुप्तं भविष्यति।

Task

लघु उपकरणं जिल्लायाः योजनायाः प्रश्नान् हिन्दीभाषायाम् उत्तरयति। विंशति जनाः आगामिनि सप्ताहे तं प्राप्स्यन्ति।

Weak approach पञ्चाशत् प्रश्नान् यः उपकरणं पूर्वमेव सम्यक् उत्तरं ददाति लिखति, तान् एकवारं सञ्चालयति, च शुद्धपत्रं फोल्डरे स्थापयति। अस्मिन् समूहे किञ्चिदपि विफलम् न स्यात्, अतः श्वः परिवर्तनं न दृश्यते।

Stronger approach पञ्चाशत् वस्तूनि लिखति यानि जनाः यथार्थतया पृच्छन्ति, प्रत्येकस्य तस्य यथोचितं प्रत्युत्तरं सह। अष्टानि तानि यानि उपकरणं अद्य विफलति धारयति, च प्रतिप्रतिफलपत्रे दिनाङ्कं संस्करणञ्च मुद्रयति।

Why the stronger approach works अष्ट दोषयुक्ताः प्रश्नाः अद्य सन्ति येन श्वः परिवर्तने प्रकाशः भविष्यति। सरलप्रश्नपत्रकं उत्तीर्णं भवति किन्तु किञ्चिदपि न वदति।

Try a changed situation मित्रः ग्रामसमितेः नूतनं प्रपत्रं पञ्चशत् प्रतिलिपीनां मुद्रणात् पूर्वं परीक्षते। कः नियमः अद्यापि प्रवर्तते?

Make something yourself यत् किञ्चिद् त्वया निर्मितं तस्मै पञ्चाशत् यथार्थप्रवेशानां परीक्षणसमूहं लिखतु, प्रत्येकस्य प्रत्याशितप्रत्युत्तरं च। तं द्विवारं सञ्चालय, च द्वयोः परिणामपत्रकयोः दिनाङ्कसहितं रक्षतु।

Read the primary or official source: Hugging Face Evaluate · Considerations for model evaluation