सीखने के सभी रास्ते समझें देखें करें बनाएँ निशान लगाने वाले मॉडल को परखें यह पाठ किस बारे में है निशान लगाने वाले मॉडल को अपने निशानों से नापें, और उन तीन आदतों की जाँच करें जो उसके आँकड़े को बेकार कर देती हैं।
काम देने वाला हर हफ़्ते दो हज़ार उत्तरों पर निशान चाहता है और इसके लिए एक मॉडल देता है। आप कहाँ से शुरू करेंगे?
A सब पर मॉडल चला दें, फिर मुट्ठी भर पढ़कर देख लें कि उसके निशान समझदारी भरे लगते हैं या नहीं। B पहले एक सूची पर खुद निशान लगाएँ, फिर गिनें कि निशान लगाने वाला मॉडल आपसे कितनी बार मिलता है। C काम देने वाले से पूछें कि मॉडल कौन-सा है, और यह देखकर तय करें कि वह कैसे बना और परखा गया।
याद जाँचें यह काम क्यों ज़रूरी है मॉडल एक मंडली से कहीं ज़्यादा उत्तरों पर निशान लगा सकता है। एक प्रकाशित अध्ययन में एक मज़बूत मॉडल का लोगों से मेल करीब अस्सी प्रतिशत नापा गया, जितना दो लोगों का आपस में होता है। उसी अध्ययन में वे आदतें भी लिखी हैं जिन्हें जाँचना है: लंबा उत्तर जीत जाता है, ऊपर दिखा उत्तर जीत जाता है, और मॉडल को अपनी ही लिखाई भाती है।
उत्तरों पर निशान लगाने वाले मॉडल को अपने निशानों से परखें, तभी उसके किसी आँकड़े पर भरोसा करें।
मॉडल एक मंडली से कहीं ज़्यादा उत्तरों पर निशान लगा सकता है। एक प्रकाशित अध्ययन में एक मज़बूत मॉडल का लोगों से मेल करीब अस्सी प्रतिशत नापा गया, जितना दो लोगों का आपस में होता है। उसी अध्ययन में वे आदतें भी लिखी हैं जिन्हें जाँचना है: लंबा उत्तर जीत जाता है, ऊपर दिखा उत्तर जीत जाता है, और मॉडल को अपनी ही लिखाई भाती है।
पहले एक सूची पर खुद निशान लगाएँ, फिर गिनें कि निशान लगाने वाला मॉडल आपसे कितनी बार मिलता है। तीन आदतें जाँचें: लंबा उत्तर जीतना, पहले दिखा उत्तर जीतना, और मॉडल को अपनी लिखाई भाना। मेल का आँकड़ा गिनती के साथ बताएँ, मॉडल का अंक अकेले कभी न बताएँ। काम एक दल चाहता है कि मॉडल हर हफ़्ते दो हज़ार हिन्दी उत्तरों पर निशान लगाए।
कमज़ोर तरीका पूरे दो हज़ार पर मॉडल चला देता है, पास होने का आँकड़ा बताता है, और कहता है कि कुछ पर निशान समझदारी भरे लगे। खुद एक पर भी निशान नहीं लगाता।
बेहतर तरीका पहले अस्सी पर खुद निशान लगाता है। मॉडल बासठ पर मिलता है, और अठारह अलगावों में से चौदह लंबे उत्तर के पक्ष में जाते हैं। बाकी चलाने से पहले दोनों गिनतियाँ बताता है।
बेहतर तरीका क्यों काम करता है दोनों ने मॉडल इस्तेमाल किया। सिर्फ़ मज़बूत जवाब बता सकता है कि उसके आँकड़े की कीमत क्या है।
बदली हुई स्थिति आज़माएँ दस में से सात जोड़ियों पर मॉडल ऊपर दिखे उत्तर को जिता देता है। आपके अपने निशान आधे-आधे बँटे हैं।
अब खुद बनाकर देखें चालीस उत्तरों पर खुद निशान लगाएँ, फिर उन्हीं चालीस पर मॉडल से निशान लगवाएँ। मेल बताएँ और अलगावों के पीछे की आदत का नाम लें।
कोड और तर्क की जाँच: 8 में से पाठ 7 आगे गलत उत्तर को जाँच में बदलें भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं
मूल या आधिकारिक स्रोत पढ़ें: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)