मशीनान अनुवाद केलेलो. इंग्लिश आनी हिंदी रिव्ह्यू केलेल्या आवृत्त्या आसा.English हिन्दी

Learn
See
Try
Make

असफल होपाक जावपाक एक मुल्यांकन तयार करा

What this lesson is about

सोपे, कठीण आनी खरेंच अस्पष्ट आयटमां बरोबर एक लहान तपासणी सेट तयार करा. मग पास होणें कितलें महत्वाचें आसा ते समजतलें.

तुमच्या हिंदी बस वेळापत्रक सहाय्यकासाठी दहा चाचणी प्रश्न सगळेच ते आधीच बरोबर उत्तर देत आहेत. चालवण्यापूर्वी तुम्ही काय बदलाल?

Why this matters

सिस्टम तयार जाल्यानंतर निवडलेलो तपासणी सेट सहसा आधीच केलेल्या निवडी मोजतात.

एक लहान तपासणी सेट तयार करा जें स्कोर कमी जावपाक शक्य आसा, आनी आधीच सांगचें की प्रतेक आयटम काय तपासत.

अशे आयटम घालचें जें सिस्टम आज चुकावपाक पाहिजे.
तपासणी चालवपाक आधी अपेक्षित उत्तर लिहचें.
प्रतेक आयटमाक सोपे, कठीण वा खरेंच अस्पष्ट म्हनून लेबल दयचें.

Task

हिंदी बस वेळापत्रक हेल्पलाइन सहाय्यकाक दहा आयटमांचो सेट.

Weak approach हेल्पलाइनच्या स्वतःच्या कॉल लॉगांतून दहा खरें प्रश्न गोळा करतात. काहीही चालवपाचें आधी प्रत्येकीचें अपेक्षित उत्तर लिहितात. सगळे दहा बरोबर येतात. सगळे दहा प्रश्न असिस्टंट आधीच उत्तर दितलो, मुळें ह्या सेटाक कोणतेंही गुण हरपपाचें नाय.

Stronger approach चार रोजच्या प्रश्न, चार ओळखलेले चुका जसे रात्रीची बस आनी नाव बदललेलो थांबाव, आनी दोन जिथे कर्मचारी स्वतः वाद करतात — प्रतेकाचें अपेक्षित उत्तर आधी लिहिलेलें.

Why the stronger approach works मजबूत सेट नुकसान दाखवू शकतलो. हेंच एकमेव कारण आसा ते चालवपाक.

Try a changed situation तुम्ही आता सामान्य सेवा केंद्रात फॉर्म भरपाक सहाय्यकाची तपासणी करत आहात. कोणतें नियम अजूनही लागू आसा?

Make something yourself तुमका चांगलें माहित असलेल्या कामाक सहा तपासणी आयटम तयार करा. दोन सोपे, दोन कठीण आनी दोन खरेंच अस्पष्ट चिन्हांकित करा. तपासणी चालवपाक आधी प्रतेकाचें अपेक्षित उत्तर लिहा.

Read the primary or official source: Holistic Evaluation of Language Models