मेसिन अनुवाद गरिएको। अंग्रेजी र हिन्दी समीक्षा गरिएका संस्करणहरू हुन्।English हिन्दी

Learn
See
Try
Make

लन्च गर्नु अघि जाँच सेट बनाउनुहोस्

What this lesson is about

तपाईंले अपेक्षा गरेको उत्तरसहित पचास वास्तविक इनपुटहरू लेख्नुहोस्, र केही परिवर्तन गर्दा हरेक पटक चलाउनुहोस्।

तपाईंको सानो उपकरणले एउटा जिल्लाको योजना हिन्दीमा बुझाउँछ। अर्को हप्ता बीस जनाले पाउनेछन्। त्यसअघि के बनाउनुहुन्छ?

Why this matters

सिर्फ सजिलो प्रश्नमा परीक्षण गरिएको उपकरणलाई परीक्षण गरिएको मानिँदैन। परीक्षणको नियम भनेको उपकरण बनाइएको उदाहरण बाहेकका उदाहरणहरू प्रयोग गर्नु हो। तपाईंका आफ्नै पचास वास्तविक इनपुटहरू त्यो हुन्।

अपेक्षित उत्तरसहित वास्तविक इनपुटहरूको जाँच सेट बनाउनुहोस्, र हरेक परिवर्तनपछि चलाउनुहोस्।

अपेक्षित उत्तरसहित पचास वास्तविक इनपुटहरू लेख्नुहोस्, र हरेक परिवर्तनपछि चलाउनुहोस्।
असफल हुने अपेक्षा भएका इनपुटहरू पनि समावेश गर्नुहोस्, र ती असफल भए भनेर रेकर्ड गर्नुहोस्।
हरेक नतिजा मिति र संस्करणसहित राख्नुहोस्, नत्र खराब परिवर्तन लुक्न सक्छ।

Task

एउटा सानो उपकरणले जिल्लाको योजनाबारे प्रश्नहरूको उत्तर हिन्दीमा दिन्छ। अर्को हप्ता बीस जनालाई दिनेछ।

Weak approach उनी पचास प्रश्न लेख्छन् जुन उपकरणले पहिले नै राम्ररी जवाफ दिन्छ, ती एक पटक चलाउँछन्, र सफा पाना फोल्डरमा राख्छन्। सेटमा केही पनि असफल हुन सक्दैन, त्यसैले भोलिको परिवर्तन देखिने छैन।

Stronger approach उनी पचास कुरा लेख्छन् जुन मानिसहरूले साँच्चिकै सोध्छन्, प्रत्येकसँग त्यो जवाफ जुन दिनु पर्छ। आठ वटा राख्छन् जुन उपकरणले आज असफल हुन्छ, र हरेक नतिजा पानामा मिति र संस्करण छाप्छन्।

Why the stronger approach works आज असफल हुने ती आठ प्रश्नहरूले भोलिको परिवर्तन देखाउँछन्। सजिलो प्रश्नहरूको पाना पास हुन्छ र केही बताउँदैन।

Try a changed situation एक साथी गाउँ समितिको नयाँ फारम पाँच सय प्रतिलिपि छाप्नुअघि परीक्षण गर्दैछ। कुन नियम अझै लागू हुन्छ?

Make something yourself तपाईंले बनाएको कुनै कुराको लागि पचास वास्तविक इनपुटहरूको जाँच सेट लेख्नुहोस्, प्रत्येकमा अपेक्षित उत्तर सहित। दुई पटक चलाउनुहोस्, र दुवै नतिजा पाना मिति सहित राख्नुहोस्।

Read the primary or official source: Hugging Face Evaluate · Considerations for model evaluation