ऐसी जाँच बनाओ जो फेल हो सके

What this lesson is about

एक छोटी जाँच-सूची बनाओ जिसमें आसान, मुश्किल और सचमुच अस्पष्ट सवाल हों। फिर पास होना मायने रखेगा।

तुम्हारे हिंदी बस टाइमटेबल सहायक के दस टेस्ट सवाल पहले से ही सही जवाब दे रहे हैं। चलाने से पहले तुम क्या बदलोगे?

Why this matters

ऐसी जाँच-सूची जो सिस्टम बनने के बाद चुनी जाती है, अक्सर पहले से लिए गए फैसलों को ही मापती है।

एक छोटी जाँच-सूची बनाओ जिसका स्कोर गिर भी सके, और पहले से बताओ कि हर सवाल क्या जांचता है।

ऐसे सवाल शामिल करो जिनमें सिस्टम आज फेल होना चाहिए।
जाँच चलाने से पहले अपेक्षित जवाब लिखो।
हर सवाल पर आसान, मुश्किल या सचमुच अस्पष्ट का लेबल लगाओ।

Task

हिंदी बस टाइमटेबल हेल्पलाइन सहायक के लिए दस सवालों की सूची।

Weak approach हेल्पलाइन दे अपने कॉल रिकॉर्ड तों दस असली सवाल इकठ्ठे करदा ऐ। कुछ वी चलाण तों पहले हर इक सवाल दा उम्मीद वाला जवाब लिख लेंदा ऐ। सारे दस सही आं। सारे दस ओ सवाल ने जिन्दा जवाब सहायक पहले ही देंदा ऐ, इसलई इस सेट कोल कोई स्कोर खोण लायक नहीं ऐ।

Stronger approach चार रोज़मर्रा के सवाल, चार जानी हुई गलतियाँ जैसे रात की बस और नाम बदला हुआ स्टॉप, और दो ऐसे जिन पर कर्मचारी खुद बहस करते हैं — हर एक का अपेक्षित जवाब पहले लिखा हुआ।

Why the stronger approach works मजबूत सूची नुकसान दिखा सकती है। यही इसे चलाने की वजह है।

Try a changed situation अब तुम सामान्य सेवा केंद्र में फॉर्म भरने वाले सहायक की जाँच कर रहे हो। कौन-सा नियम अभी भी लागू है?

Make something yourself अपने किसी अच्छे काम के लिए छह जाँच-सवाल बनाओ। दो आसान, दो मुश्किल और दो सचमुच अस्पष्ट चुनो, और जाँच शुरू करने से पहले हर सवाल का अपेक्षित जवाब लिखो।

Read the primary or official source: Holistic Evaluation of Language Models