सीखने के सभी रास्ते समझें देखें करें बनाएँ इनाम मॉडल क्या है यह पाठ किस बारे में है देखें कि निशान लगी जोड़ियों से क्या बनता है: एक अंक देने वाला, जो सही उत्तर से नहीं, आपके क्रम से सीखता है।
आठ सौ निशान लगी जोड़ियों का आपका बैच सोमवार को एक प्रयोगशाला जा रहा है। साथी पूछता है कि वहाँ इनसे बनेगा क्या।
A हर जोड़ी का चुना हुआ उत्तर उस सवाल का एकमात्र ठीक उत्तर मानकर रख लिया जाता है। B इनाम मॉडल एक अंक देने वाला है, जो आपकी जोड़ियों से सीखता है, सही उत्तर से नहीं। C हर जोड़ी के दोनों उत्तर सिखाने वाले दौर में डाल दिए जाते हैं, ताकि छोड़ा हुआ उत्तर भी कुछ सिखाए।
याद जाँचें यह काम क्यों ज़रूरी है सारांश पर हुए एक प्रकाशित काम में यही ढाँचा दिखता है। निशान लगी जोड़ियों से अंक देने वाला — यानी इनाम मॉडल — सिखाया जाता है, और फिर मॉडल को उसी के हिसाब से सुधारा जाता है। इसलिए आपकी जोड़ी कोई ऐसा उत्तर नहीं है जिसे मॉडल नकल करेगा। वह इनाम मॉडल की अपनी सिखाई की एक पंक्ति है, और बाद में मॉडल को उसी को खुश करने के लिए धकेला जाता है।
बताएँ कि इनाम मॉडल क्या है, वह किस चीज़ पर सिखाया जाता है, और निशान लगी एक जोड़ी का क्या बनता है।
सारांश पर हुए एक प्रकाशित काम में यही ढाँचा दिखता है। निशान लगी जोड़ियों से अंक देने वाला — यानी इनाम मॉडल — सिखाया जाता है, और फिर मॉडल को उसी के हिसाब से सुधारा जाता है। इसलिए आपकी जोड़ी कोई ऐसा उत्तर नहीं है जिसे मॉडल नकल करेगा। वह इनाम मॉडल की अपनी सिखाई की एक पंक्ति है, और बाद में मॉडल को उसी को खुश करने के लिए धकेला जाता है।
इनाम मॉडल एक अंक देने वाला है, जो आपकी जोड़ियों से सीखता है, सही उत्तर से नहीं। एक जोड़ी सिर्फ़ क्रम सिखाती है: उस सवाल पर यह उत्तर दूसरे से ऊपर है। बाद में मॉडल को वही अंक बढ़ाने के लिए धकेला जाता है, इसलिए कमज़ोर अंक देने वाला कमज़ोर आदतें सिखाता है। काम सेहत के उत्तरों की आठ सौ निशान लगी जोड़ियाँ सिखाने के लिए भेजी जा रही हैं। बताएँ कि एक जोड़ी का क्या बनता है।
कमज़ोर तरीका कहता है कि हर चुना हुआ उत्तर मॉडल के लिए सिखाने वाला उदाहरण बन जाता है। आठ सौ जोड़ियों को आठ सौ आदर्श उत्तर मान लेता है, जिन्हें मॉडल नकल करेगा।
बेहतर तरीका कहता है कि हर जोड़ी अंक देने वाले के लिए एक तुलना बन जाती है। वह सीखता है कि कौन-सा उत्तर दूसरे से ऊपर है। फिर मॉडल को वही अंक बढ़ाने के लिए धकेला जाता है।
बेहतर तरीका क्यों काम करता है कमज़ोर समझ चुने हुए उत्तर को नकल करने लायक आदर्श उत्तर बना देती है। जोड़ी में क्रम होता है, शब्द नहीं।
बदली हुई स्थिति आज़माएँ दुकान की समीक्षा वाला दल मराठी जोड़ियों पर निशान लगाता है। उनका अंक देने वाला अब लगभग हर बार लंबे उत्तर को ऊपर रखता है।
अब खुद बनाकर देखें इस हफ़्ते आपने जिस एक जोड़ी पर निशान लगाया, उसे लें। लिखें कि अंक देने वाला उससे क्या सीखता है, और एक बात जो वह उससे नहीं सीख सकता।
मॉडल की बाद की ट्रेनिंग कैसे होती है: 9 में से पाठ 6 आगे सीधी पसंद से सिखाना भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं
मूल या आधिकारिक स्रोत पढ़ें: Stiennon et al., Learning to summarize from human feedback (arXiv)