बदलय सँ पहिने ओकर मापन करू

What this lesson is about

अपने पचास उदाहरण सभ पर ओकर प्रदर्शन लिखू। ओहि संख्या सँ अहाँक बदलाव के मूल्यांकन होयत।

अहाँ एक छोट मॉडल के देल गेल निर्देश के फेर सँ लिखय जा रहल छी जाहि सँ ओकर हिंदी जवाब सभ बेहतर होयत। पहिने की करब?

Why this matters

Hugging Face के सलाह अछि जे जकरा सँ मॉडल बनल अछि, ओहि उदाहरण सभ पर परीक्षण नहि करबाक चाही। अंक नीक देखाएत अछि मुदा किछु नहि कहैत अछि। बिना तिथि आ संस्करण के संख्या ककरो संग तुलना योग्य नहि होइत अछि।

अहाँ अपन उदाहरण सभ पर मॉडल के मापन कऽ सकैत छी आ ओहि मापन के एहन दर्ज कऽ सकैत छी जाहि सँ बाद मे तुलना कएल जा सकय।

बदलय सँ पहिने लिखू जे ओ अपने पचास उदाहरण सभ पर केहन करैत अछि।
ओहि कठिन मामला सभकेँ सेहो जोड़ू जे अहाँ सोचैत छी ओ फेल करत, नहि तँ अंक बढ़ा-चढ़ा कऽ देखाओल जायत।
अंक संग तिथि, मॉडल संस्करण आ इनपुट सेहो दर्ज करू।

Task

अहाँ छोट मॉडल के देल जाए वाला निर्देश बदलय जा रहल छी ताकि ओकर हिंदी उत्तर बेहतर होय।

Weak approach निर्देशक बदलि देब, पाँचटा उत्तर पढ़ि लेब, आ मानि लेब जे हिन्दी आब नीक अछि। पुरान निर्देशक के स्कोर केओ लिखने नहि छल, तेँ 'नीक' के तुलना मे किछु नहि अछि।

Stronger approach पहिने अपन पचास संदेश सभ पर अंक निकालू, तिथि आ संस्करण लिखू, आ तकर बाद एकटा चीज बदलू।

Why the stronger approach works पहिल अंक बिना 'बेहतर' केवल भावना होइत अछि। ओकरा संग ई बदलाव एकटा संख्या बनि जाइत अछि जे ककरो देखाओल जा सकैत अछि।

Try a changed situation एकटा मित्र साबित करय चाहैत अछि जे ओकर नव पढ़ेबाक तरीका काज करैत अछि। ओ ओहि दस प्रश्न पर परीक्षण करय चाहैत अछि जे सँ ओ पढ़ेलक। अहाँ की कहब?

Make something yourself एकटा मॉडल के पहिल मापन बनाउ। अपन पचास इनपुट, प्रत्येकक अपेक्षित उत्तर, आ मॉडल जे देलक से लिखू। संगहि अपन अंक, तिथि आ संस्करण जोड़ू।

Read the primary or official source: Hugging Face Evaluate · considerations for model evaluation