सीखने के सभी रास्ते समझें देखें करें बनाएँ पसंद वाले बैच की जाँच करें यह पाठ किस बारे में है पसंद वाले निशानों का बैच खोलें, गिनें कि अंक देने वाला उससे कौन-सी गड़बड़ी सीखेगा, और नोट लिखें।
नौ सौ निशान लगी जोड़ियों का बैच प्रयोगशाला जाने से पहले आपकी मेज़ पर आता है। आप सबसे पहले क्या गिनेंगे?
A किसने कितनी जोड़ियाँ पूरी कीं, ताकि धीमी मेज़ का पता प्रयोगशाला की शिकायत से पहले चल जाए। B तीन गड़बड़ियाँ अंक देने वाले को बिगाड़ती हैं: लंबा उत्तर जीतना, ऊपर दिखा उत्तर जीतना, और अकेले एक जाँचने वाले का निशान। C चुने हुए उत्तर पढ़ने में अच्छे हैं या नहीं, क्योंकि अच्छे चुने उत्तरों से अच्छा बैच बनता है।
याद जाँचें यह काम क्यों ज़रूरी है एक प्रकाशित सहायक-परियोजना ने अपनी ही टीम और पैसे पर रखे जाँचने वालों के बीच मेल करीब तिरसठ प्रतिशत नापा था। कठिन मामलों पर सावधान काम ऐसा ही दिखता है। इसलिए जिस बैच में मेल लगभग पूरा हो, उसे सबसे पहले खोलकर देखिए, और ढूँढ़िए वह आदत जिसे अंक देने वाला नकल कर लेगा।
पसंद वाले निशानों के बैच की जाँच करें कि उसमें अंक देने वाला कौन-सी गड़बड़ी सीख लेगा, और साथ जाने वाला नोट लिखें।
एक प्रकाशित सहायक-परियोजना ने अपनी ही टीम और पैसे पर रखे जाँचने वालों के बीच मेल करीब तिरसठ प्रतिशत नापा था। कठिन मामलों पर सावधान काम ऐसा ही दिखता है। इसलिए जिस बैच में मेल लगभग पूरा हो, उसे सबसे पहले खोलकर देखिए, और ढूँढ़िए वह आदत जिसे अंक देने वाला नकल कर लेगा।
तीन गड़बड़ियाँ अंक देने वाले को बिगाड़ती हैं: लंबा उत्तर जीतना, ऊपर दिखा उत्तर जीतना, और अकेले एक जाँचने वाले का निशान। लगभग पूरा मेल इनाम नहीं, चेतावनी है, क्योंकि कठिन मामलों पर सावधान लोग भी बँट जाते हैं। गिनतियाँ नमूने के आकार के साथ बताएँ, और लिखें कि किस गड़बड़ी की जाँच आप नहीं कर सके। काम सेहत हेल्पलाइन की नौ सौ पसंद जोड़ियों में से साठ की जाँच करें, इससे पहले कि वे सिखाने जाएँ।
कमज़ोर तरीका साठ जोड़ियाँ पढ़ता है, हर निशान समझदारी भरा पाता है, और लिख देता है कि बैच साफ़ है और जा सकता है। न कुछ गिनता है, न किसी जाँचने वाले का नाम लिखता है।
बेहतर तरीका गिनता है: साठ में से अड़तालीस बार लंबा उत्तर जीता, और इकतालीस बार ऊपर दिखा उत्तर। दोनों गिनतियाँ नमूने के आकार के साथ बताता है, और कहता है कि तीस जोड़ियाँ क्रम उलटकर दोबारा देखी जाएँ।
बेहतर तरीका क्यों काम करता है दोनों ने वही साठ जोड़ियाँ पढ़ीं। मज़बूत जाँच उस पढ़ाई को दो ऐसी गिनतियों में बदल देती है जिन्हें काम देने वाला परख सकता है।
बदली हुई स्थिति आज़माएँ आपके नमूने की साठ कठिन जोड़ियों में से उनसठ पर दोनों जाँचने वालों का मेल है। काम देने वाला इसे बढ़िया काम बता रहा है।
अब खुद बनाकर देखें किसी एक पसंद बैच के नमूने की जाँच करें। गिनें कि लंबा उत्तर कितनी बार जीता और ऊपर दिखा उत्तर कितनी बार, फिर बैच के साथ जाने वाला नोट लिखें।
मॉडल की बाद की ट्रेनिंग कैसे होती है: 9 में से पाठ 9 आगे चित्र और वीडियो से प्रमाण जोड़ें भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं जिन नियमों से यह काम का नमूना पढ़ा जाता है
मूल या आधिकारिक स्रोत पढ़ें: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)