मेसिन अनुवाद गरिएको। अंग्रेजी र हिन्दी समीक्षा गरिएका संस्करणहरू हुन्।English हिन्दी

Learn
See
Try
Make

असफल हुन सक्ने मूल्याङ्कन डिजाइन गर्नुहोस्

What this lesson is about

सजिलो, गाह्रो र साँच्चिकै अस्पष्ट वस्तुहरू सहित सानो जाँच सेट बनाउनुहोस्। त्यसपछि पास हुने स्कोरको अर्थ हुन्छ।

तपाईंको हिन्दी बस-समय-सारणी सहायकका लागि दस परीक्षण प्रश्नहरू सबै त्यस्ता छन् जसको जवाफ यसले पहिले नै ठीक दिन्छ। चलाउनु अघि के परिवर्तन गर्नुहुन्छ?

Why this matters

प्रणाली बनेपछि छानिएको जाँच सेटले प्रायः पहिले गरिएका निर्णयहरू मात्र मापन गर्छ।

त्यस्तो सानो जाँच सेट बनाउनुहोस् जसको स्कोर घट्न सक्छ, र पहिले नै प्रत्येक वस्तुले के परीक्षण गर्छ भनेर भन्न सकियोस्।

त्यस्ता वस्तुहरू समावेश गर्नुहोस् जसमा प्रणाली आज असफल हुनुपर्छ।
जाँच चलाउनु अघि अपेक्षित उत्तर लेख्नुहोस्।
प्रत्येक वस्तुमा सजिलो, गाह्रो वा साँच्चिकै अस्पष्ट लेबल लगाउनुहोस्।

Task

हिन्दी बस-समयतालिका हेल्पलाइन सहायकका लागि दस वस्तुहरूको सेट।

Weak approach हेल्पलाइनको आफ्नै कल लगबाट दसवटा वास्तविक प्रश्न सङ्कलन गर्छ। केही चलाउनु अघि प्रत्येकको अपेक्षित उत्तर लेख्छ। सबै दसवटा सही आउँछन्। सबै दसवटा प्रश्नहरू सहायकले पहिले नै उत्तर दिने भएकाले यो सेटले कुनै स्कोर गुमाउन सक्दैन।

Stronger approach चार दैनिक प्रश्नहरू। चार थाहा भएका असफलताहरू, जस्तै रातको बस र नाम परिवर्तन गरिएको स्टप। दुई प्रश्न जसमा कर्मचारीहरू आफैं बहस गर्छन्। प्रत्येकको अपेक्षित उत्तर पहिले लेखिएको।

Why the stronger approach works मजबुत सेटले घाटा देखाउन सक्छ। त्यो मात्र यसलाई चलाउने कारण हो।

Try a changed situation अब तपाईं सामान्य सेवा केन्द्रमा फारम भर्ने सहायकको परीक्षण गर्दै हुनुहुन्छ। कुन नियम अझै लागू हुन्छ?

Make something yourself तपाईंले राम्ररी जानेको कुनै कामका लागि छ वटा जाँच वस्तुहरू डिजाइन गर्नुहोस्। दुई सजिलो, दुई गाह्रो र दुई साँच्चिकै अस्पष्ट चिन्ह लगाउनुहोस्। परीक्षण अघि प्रत्येकको अपेक्षित उत्तर लेख्नुहोस्।

Read the primary or official source: Holistic Evaluation of Language Models