ऐसन मूल्यांकन बनाउ जे असफल भ' सकय

What this lesson is about

एकटा छोट चेक सेट बनाउ जाहिमें आसान, कठिन आ सचमुच अस्पष्ट आइटम होअय। फेर पास होयबाक स्कोर किछु मतलब रखैत अछि।

हिन्दी बस-समय-सूची सहायक लेल अहाँक दस टा परिक्षण प्रश्न सभ ओहि प्रश्न सभ मे सँ अछि जे ओ पहिने सँ ठीक उत्तर दैत अछि। चलय सँ पहिने अहाँ की बदलब?

Why this matters

जखन सिस्टम बनि गेलाक बाद चुनल गेल चेक सेट सामान्यतः पहिने सँ लेल गेल निर्णय सभ के मापन करैत अछि।

एकटा छोट चेक सेट बनाउ जाहि मे स्कोर घटि सकय, आ पहिले सँ लिखि दिअ जे प्रत्येक आइटम की जाँच करैत अछि।

ऐहन आइटम शामिल करू जे सिस्टम आज असफल होयबाक चाही।
चेक चलाबय सँ पहिने अपेक्षित उत्तर लिखि लिअ।
प्रत्येक आइटम पर आसान, कठिन वा सचमुच अस्पष्ट लेबल लगाउ।

Task

हिन्दी बस-समय-सारणी हेल्पलाइन सहायक लेल दस आइटमक सेट।

Weak approach सहायता केंद्रक अपन कॉल लॉग सँ दस टा असली प्रश्न जमा करैत अछि। किछु चलाबय सँ पहिने प्रत्येक प्रश्नक अपेक्षित उत्तर लिखि लैत अछि। सभ दस टा सही अबैत अछि। सभ दस टा प्रश्न ओहि प्रश्न सभ मे सँ अछि जे सहायक पहिने सँ उत्तर दैत अछि, तें एहि सेट केँ कोनो अंक हारबाक संभावना नहि अछि।

Stronger approach चार रोजाना प्रश्न, चार ज्ञात असफलता जइमे राति के बस आ नाम बदलल स्टॉप शामिल अछि, आ दू एहन जे स्टाफ स्वयं विवाद करैत अछि — प्रत्येकक अपेक्षित उत्तर पहिने लिखल।

Why the stronger approach works मजबूत सेट नुकसान देखाबय मे सक्षम अछि। एहि कारणेँ एकमात्र कारण अछि जे एकरा चलाओल जाय।

Try a changed situation अहाँ आब सामान्य सेवा केंद्र मे फॉर्म भरबाक सहायक के टेस्ट क' रहल छी। कोन नियम अबहियो लागू अछि?

Make something yourself अपने जे काज नीक सँ जानैत छी ताहि लेल छह चेक आइटम बनाउ। दू आसान, दू कठिन आ दू सचमुच अस्पष्ट चिन्हित करू। चेक शुरू करबाक पहिने प्रत्येकक अपेक्षित उत्तर लिखू।

Read the primary or official source: Holistic Evaluation of Language Models