All learning paths Learn See Try Make लॉन्च करबा सँ पहिने चेक सेट बनाउ What this lesson is about पचास असली इनपुट लिखू जाहि मे अहाँ जे उत्तर उम्मीद करैत छी, से हो, आ हर बेर किछु बदलला पर ओकरा चला कऽ देखू।
अहाँक छोटका टूल एकटा जिला योजना हिंदी में बुझबैत अछि। अगिला सप्ताह बीस लोक केँ भेटत। तखन सँ पहिने की बनायब?
A पचास असली इनपुट लिखू संग अपेक्षित उत्तर, आ हर बदलावक बाद ओकरा चला कऽ देखू। B बीस में सँ पाँच लोक सँ कहल जाउ जे एकरा प्रयोग कए देखथि आ जे किछु खराब होइ तऽ अहाँ केँ पठाबी। C पचासटा असली प्रश्न लिखू आ प्रत्येक उत्तर पढ़ि कऽ देखू जे ओ ठीक लगैत अछि कि नहि।
Check my recall Why this matters जे टूल केवल आसान प्रश्न पर परखल गेल अछि, से परखल गेल नहि अछि। ओकरा परखबाक नियम अछि जे ओहि उदाहरण सभ सँ परखू जे सँ ई बनाओल नहि गेल अछि। अहाँक पचास असली इनपुट ओहि काज करैत अछि।
अपेक्षित उत्तरक संग असली इनपुटक चेक सेट बनाउ, आ हर बदलावक बाद ओकरा चला कऽ देखू।
जे टूल केवल आसान प्रश्न पर परखल गेल अछि, से परखल गेल नहि अछि। ओकरा परखबाक नियम अछि जे ओहि उदाहरण सभ सँ परखू जे सँ ई बनाओल नहि गेल अछि। अहाँक पचास असली इनपुट ओहि काज करैत अछि।
पचास असली इनपुट लिखू संग अपेक्षित उत्तर, आ हर बदलावक बाद ओकरा चला कऽ देखू। ओहि इनपुट सभ केँ सेहो राखू जाहि मे अहाँ सोचैत छी ई फेल होयत, आ दर्ज करू जे ई फेल भेल। प्रत्येक परिणाम केँ ओकर तारीख आ संस्करणक संग राखू, नहि तँ खराब बदलाव छिपि सकैत अछि। Task एकटा छोट टूल जिला योजना सँ जुड़ल प्रश्नक हिंदी मे जवाब दैत अछि। बीस लोक केँ अगिला सप्ताह देल जायत।
Weak approach ओ पचास प्रश्न लिखैत अछि जे टूल पहिने सँ नीक जवाब दैत अछि, एक बेर चला कऽ साफ पन्ना फोल्डर मे राखि दैत अछि। सेट मे किछु फेल नहि भऽ सकैत अछि, तें काल्हि कऽ बदलाव नहि देखाएत।
Stronger approach ओ पचास बात लिखैत अछि जे लोक सचमुच पुछैत अछि, संगहि ओहि प्रश्नक उचित जवाब सेहो। आठ टा राखैत अछि जे पर टूल आज फेल भऽ जाइत अछि, आ प्रत्येक परिणाम पन्ना पर तारीख आ संस्करण छापि दैत अछि।
Why the stronger approach works आज फेल होयवाला आठ प्रश्न काल्हि कऽ बदलाव देखबैत अछि। आसान प्रश्नक शीट पास भऽ जाइत अछि आ किछु नहि बतबैत अछि।
Try a changed situation एकटा दोस्त गामक समिति लेल नव फॉर्म पाँच सौ प्रति छपबाक पहिने परखि रहल अछि। कुन नियम अबहियो लागू अछि?
Make something yourself अहाँ जे किछु बनौने छी ओकरा लेल पचास असली इनपुटक चेक सेट लिखू, प्रत्येकक संग अपेक्षित उत्तर। ओकरा दू बेर चला कऽ दुनू परिणाम शीट तारीख सहित राखू।
Read the primary or official source: Hugging Face Evaluate · Considerations for model evaluation