सीखने के सभी रास्ते समझें देखें करें बनाएँ जारी करने से पहले जाँच-सूची बनाएँ यह पाठ किस बारे में है अपेक्षित उत्तरों के साथ पचास असली इनपुट लिखें, और हर बदलाव के बाद उन्हें चलाएँ।
आपका छोटा टूल ज़िले की योजना हिन्दी में समझाता है। अगले हफ़्ते बीस लोगों को मिलेगा। उससे पहले क्या बनाएँगे?
A पचास असली इनपुट अपेक्षित उत्तर समेत लिखें, और हर बदलाव के बाद उन्हें चलाएँ। B उन बीस में से पाँच से कहें कि आज़माकर देखें और जो बिगड़े वह आपको भेज दें। C पचास असली सवाल लिखें और हर जवाब पढ़कर देखें कि वह ठीक लगता है या नहीं।
याद जाँचें यह काम क्यों ज़रूरी है जिस टूल को सिर्फ़ आसान सवालों पर आज़माया गया, वह आज़माया ही नहीं गया। उसे परखने का नियम यह है कि ऐसे उदाहरण लें जिनसे वह बना ही नहीं। आपके अपने पचास असली इनपुट वही काम करते हैं।
अपेक्षित उत्तरों के साथ असली इनपुट की जाँच-सूची बनाएँ, और हर बदलाव के बाद उसे चलाएँ।
जिस टूल को सिर्फ़ आसान सवालों पर आज़माया गया, वह आज़माया ही नहीं गया। उसे परखने का नियम यह है कि ऐसे उदाहरण लें जिनसे वह बना ही नहीं। आपके अपने पचास असली इनपुट वही काम करते हैं।
पचास असली इनपुट अपेक्षित उत्तर समेत लिखें, और हर बदलाव के बाद उन्हें चलाएँ। वे इनपुट भी रखें जिनमें आपको फेल होने की उम्मीद है, और दर्ज करें कि वे फेल हुए। हर नतीजा तारीख़ और संस्करण के साथ रखें, वरना बिगाड़ने वाला बदलाव छिप जाएगा। काम एक छोटा टूल ज़िले की योजना के सवालों का जवाब हिन्दी में देता है। अगले हफ़्ते बीस लोगों को मिलेगा।
कमज़ोर तरीका पचास ऐसे सवाल लिखना जिनका जवाब टूल पहले से ठीक देता है, उन्हें एक बार चलाना, और साफ़-सुथरा पन्ना फ़ोल्डर में रख देना। इस सूची में कुछ फेल हो ही नहीं सकता, इसलिए कल का बदलाव दिखेगा ही नहीं।
बेहतर तरीका पचास ऐसी बातें लिखता है जो लोग सचमुच पूछते हैं, हर एक के साथ वह जवाब जो आना चाहिए। आठ ऐसी रखता है जिन पर टूल आज चूक जाता है, और हर नतीजा-पन्ने पर तारीख़ और संस्करण डाल देता है।
बेहतर तरीका क्यों काम करता है आज फेल होने वाले वही आठ सवाल कल के बदलाव को सामने लाते हैं। आसान सवालों वाला पन्ना पास हो जाता है और कुछ बताता नहीं।
बदली हुई स्थिति आज़माएँ एक दोस्त गाँव की समिति का नया फ़ॉर्म पाँच सौ प्रतियाँ छपवाने से पहले आज़मा रहा है। कौन-सा नियम अब भी लागू है?
अब खुद बनाकर देखें अपनी बनाई किसी चीज़ के लिए पचास असली इनपुट की जाँच-सूची लिखें, हर एक के साथ अपेक्षित उत्तर। उसे दो बार चलाएँ, और दोनों नतीजा-पन्ने तारीख़ समेत रखें।
भारत के लिए छोटे AI उत्पाद: 7 में से पाठ 4 आगे हर उत्तर की लागत गिनें भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं
मूल या आधिकारिक स्रोत पढ़ें: Hugging Face Evaluate · Considerations for model evaluation