सीखने के सभी रास्ते समझें देखें करें बनाएँ बदलने से पहले उसे नापें यह पाठ किस बारे में है अपने पचास उदाहरणों पर उसका नतीजा लिख लें। आपके बदलाव को परखने का यही एक आधार है।
आप छोटे मॉडल को दिया जाने वाला निर्देश दोबारा लिखने वाले हैं ताकि उसके हिन्दी उत्तर बेहतर हों। पहले क्या?
A निर्देश बदल दें, पाँच उत्तर पढ़ें, और साफ़ बेहतर लगे तो अंक लिख लें। B कुछ बदलने से पहले लिख लें कि वह आपके अपने पचास उदाहरणों पर कैसा करता है। C उन्हीं पचास संदेशों पर अंक निकालें जिनसे निर्देश लिखा था, वे तो तैयार पड़े हैं।
याद जाँचें यह काम क्यों ज़रूरी है हगिंग फेस की सलाह चेताती है कि जिन उदाहरणों से चीज़ बनी है, उन्हीं पर उसे जाँचना ठीक नहीं। अंक शानदार दिखता है और उसका कोई मतलब नहीं होता। बिना तारीख़ और बिना संस्करण वाली संख्या किसी से तुलना लायक नहीं रहती।
आप मॉडल को अपने ही उदाहरणों पर नाप सकते हैं और उस नाप को ऐसे दर्ज कर सकते हैं कि बाद वाली बार से तुलना हो सके।
हगिंग फेस की सलाह चेताती है कि जिन उदाहरणों से चीज़ बनी है, उन्हीं पर उसे जाँचना ठीक नहीं। अंक शानदार दिखता है और उसका कोई मतलब नहीं होता। बिना तारीख़ और बिना संस्करण वाली संख्या किसी से तुलना लायक नहीं रहती।
कुछ बदलने से पहले लिख लें कि वह आपके अपने पचास उदाहरणों पर कैसा करता है। जो कठिन मामले आपको लगते हैं कि वह नहीं कर पाएगा, उन्हें भी रखें, वरना अंक बढ़ा-चढ़ाकर दिखेगा। अंक के साथ तारीख़, मॉडल का संस्करण और इनपुट भी दर्ज करें। काम आप छोटे मॉडल को दिया जाने वाला निर्देश बदलने वाले हैं, ताकि उसके हिन्दी उत्तर बेहतर हों।
कमज़ोर तरीका निर्देश बदल देना, पाँच उत्तर पढ़ लेना, और मान लेना कि हिन्दी अब बेहतर है। पुराने निर्देश का अंक किसी ने लिखा ही नहीं था, इसलिए 'बेहतर' के सामने रखने को कुछ है ही नहीं।
बेहतर तरीका पहले अपने पचास संदेशों पर अंक निकालना, तारीख़ और संस्करण लिखना, और उसके बाद ही एक चीज़ बदलना।
बेहतर तरीका क्यों काम करता है पहले वाले अंक के बिना 'बेहतर' सिर्फ़ एहसास है। उसके साथ यह बदलाव ऐसी संख्या बन जाता है जो किसी को दिखाई जा सके।
बदली हुई स्थिति आज़माएँ एक सहेली साबित करना चाहती है कि उसका नया पढ़ाने का तरीका काम करता है। वह उन्हीं दस सवालों पर जाँचना चाहती है जिनसे पढ़ाया था। आप उससे क्या कहेंगे?
अब खुद बनाकर देखें एक मॉडल की पहली नाप बनाएँ। अपने पचास इनपुट, हर एक का अपेक्षित उत्तर, और मॉडल ने क्या दिया — यह लिखें। साथ में अपना अंक, तारीख़ और संस्करण जोड़ें।
कम खर्च में खुले मॉडल: 8 में से पाठ 4 आगे तय करें कि सिखाना कब फ़ायदे का है भाग 1 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं जिन नियमों से यह काम का नमूना पढ़ा जाता है
मूल या आधिकारिक स्रोत पढ़ें: Hugging Face Evaluate · considerations for model evaluation