शुरू करन तों पहल्यां चेक सेट बनाओ

What this lesson is about

पचास असली इनपुट लिखो जिनदे जवाब तुसीं उम्मीद करदे हो, अते हर वारी कुछ बदले ते इन्हें चलाओ।

तुआड़ा छोटा औजार इक ज़िले दी योजना हिंदी विच समझांदा ऐ। अगले हफ्ते बीस लोकां नूं मिलेगा। उस तो पहले तुसीं की बनाओगे?

Why this matters

जिहड़े टूल नूं सिर्फ़ आसान सवालां ते अजमाया गया, ओ अजमाया ही नहीं गया। अजमाण दा नियम है कि ओह उदाहरण इस्तेमाल करो जिनहां तो टूल नहीं बनाया गया। तुहाडे पचास असली इनपुट ओह काम करदे ने।

अपेक्षित जवाबां नाल असली इनपुटां दा चेक सेट बनाओ, अते हर बदलाव तो बाद इसे चलाओ।

पचास असली इनपुट लिखो जिनदे जवाब तुसीं उम्मीद करदे हो, अते हर बदलाव तो बाद इन्हें चलाओ।
ओह इनपुट वी रखो जिनहां तुसीं फेल होण दी उम्मीद करदे हो, अते लिखो कि ओ फेल होए।
हर रिज़ल्ट नूं तारीख़ अते वर्जन नाल रखो, नहीं तां खराब बदलाव छुप जांदा है।

Task

इक छोटा टूल ज़िले दी योजना बारे सवाल हिंदी विच जवाब दिंदा है। अगले हफ्ते बीस लोकां नूं मिलेगा।

Weak approach पचास सवाल लिखदा जेड़े टूल पहले ही ठीक जवाब देन्दा ऐ, एक वार चला के साफ़ शीट फोल्डर विच रख देंदा ऐ। इस सेट विच कदे वी कूछ फेल नहीं हो सकदा, इसलई काल दी बदली नहीं दिखेगी।

Stronger approach पचास गलां लिखदा ऐ जिणा नूं लोग सचमुच पुछदे ने, हर इक दे नाल ओ जवाब जो आना चाहिदा ऐ। आठ रखदा ऐ जिणा ते टूल आज फेल हो जांदा ऐ, ते हर रिजल्ट शीट ते तारीख ते वर्जन लगांदा ऐ।

Why the stronger approach works आज फेल होण वाले आठ सवाल कल बदलाव नूं दिखांदे ने। आसान सवालां वाली शीट पास हो जांदी है पर कुछ नहीं दसदी।

Try a changed situation इक दोस्त गाँव दी समिति दा नया फॉर्म पाँच सौ प्रतियां छपवाण तो पहले अजमा रहा है। किड़ा नियम अज वी लागू है?

Make something yourself अपनी बनाई कोई चीज़ लई पचास असली इनपुटां दा चेक सेट लिखो, हर इक नाल जवाब उम्मीद अनुसार। इसे दो वारी चलाओ, अते दोहां रिज़ल्ट शीटां तारीख़ नाल रखो।

Read the primary or official source: Hugging Face Evaluate · Considerations for model evaluation