मशीनने अनुवादित केले आहे. इंग्रजी आणि हिंदी ही पुनरावलोकित आवृत्त्या आहेत.English हिन्दी

Learn
See
Try
Make

असफल होऊ शकणारी मूल्यमापन रचना करा

What this lesson is about

सोप्या, कठीण आणि खरंच अस्पष्ट आयटम्ससह एक लहान तपासणी संच तयार करा. मग उत्तीर्ण गुण काहीतरी दाखवतात.

तुमच्या हिंदी बस वेळापत्रक सहाय्यकासाठी दिलेले दहा चाचणी प्रश्न सगळेच ते आधीच बरोबर उत्तर देतो. त्यांना चालवण्यापूर्वी तुम्ही काय बदलाल?

Why this matters

सिस्टम तयार झाल्यानंतर निवडलेला तपासणी संच सहसा आधीच केलेल्या निवडी मोजतो.

असा लहान तपासणी संच तयार करा ज्याचा गुण कमी होऊ शकतो, आणि आधीच लिहा की प्रत्येक आयटम काय तपासतो.

सिस्टम तयार झाल्यानंतर निवडलेला तपासणी संच सहसा आधीच केलेल्या निवडी मोजतो.

असे आयटम समाविष्ट करा ज्यात सिस्टम आज असफल होईल.
तपासणी चालवण्यापूर्वी अपेक्षित उत्तर लिहा.
प्रत्येक आयटमला सोपा, कठीण किंवा खरंच अस्पष्ट लेबल द्या.

Task

हिंदी बस वेळापत्रक हेल्पलाइन सहाय्यासाठी दहा आयटमांचा संच.

Weak approach हेल्पलाइनच्या स्वतःच्या कॉल लॉगमधून दहा खऱ्या प्रश्न गोळा करतो. काहीही चालवण्यापूर्वी प्रत्येकासाठी अपेक्षित उत्तर लिहितो. सर्व दहा बरोबर येतात. हे दहा प्रश्न आधीपासूनच सहाय्यक उत्तर देतो, त्यामुळे या संचाला गमावण्यासाठी कोणताही गुण नाही.

Stronger approach चार रोजच्या प्रश्नं. चार ज्ञात चुका जसे की रात्रीची बस आणि नाव बदललेले थांबणं. दोन प्रश्न ज्यावर कर्मचारी स्वतःच वादविवाद करतात. प्रत्येकासाठी अपेक्षित उत्तर आधी लिहिलेले.

Why the stronger approach works मजबूत संच नुकसान दाखवू शकतो. तोच एकमेव कारण आहे तो चालवण्याचं.

Try a changed situation आता तुम्ही सामान्य सेवा केंद्रातील फॉर्म भरण्याच्या सहाय्यकाची चाचणी करत आहात. कोणता नियम अजूनही लागू आहे?

Make something yourself तुम्हाला चांगल्या प्रकारे माहित असलेल्या कामासाठी सहा तपासणी आयटम डिझाइन करा. दोन सोपे, दोन कठीण आणि दोन खरंच अस्पष्ट म्हणून चिन्हांकित करा. चाचणीपूर्वी प्रत्येकासाठी अपेक्षित उत्तर लिहा.

Read the primary or official source: Holistic Evaluation of Language Models