सीखने के सभी रास्ते समझें देखें करें बनाएँ आपके निशान कहाँ जाते हैं यह पाठ किस बारे में है निशानों के एक बैच को स्क्रीन से सिखाने वाले दौर तक देखें, और रास्ते की जाँचें पहचानें।
शुक्रवार को दो सौ पंक्तियाँ पूरी करके आप भेज देते हैं। घर पर कोई पूछता है कि क्या उसी शाम मॉडल बदल जाता है।
A हर पंक्ति भेजते ही मॉडल तक पहुँच जाती है, इसलिए बदलाव उसी रात शुरू हो जाता है। B आपका बैच दूसरों के साथ मिलाया जाता है और फिर बँटता है: ज़्यादातर दौर में जाता है, कुछ अलग रख लिया जाता है। C पंक्तियाँ भंडार में पड़ी रहती हैं जब तक कोई माँगे नहीं, और अलग कुछ भी नहीं रखा जाता।
याद जाँचें यह काम क्यों ज़रूरी है एक प्रकाशित सहायक-परियोजना ने यह चक्र साफ़ लिखा है। बैच आपस में मिलाए जाते हैं, एक हिस्सा अलग रख लिया जाता है, मॉडल सिखाया जाता है, और फिर बदले हुए मॉडल पर नए बैच आते हैं। बाद में उस दौर पर भरोसा दो बातों से बनता है। अलग रखा गया हिस्सा सुधार के समय बिना पढ़े रहना चाहिए, और हर बैच के साथ यह लिखा होना चाहिए कि निशान किसने और कब लगाए।
अपने निशानों के एक बैच को स्क्रीन से सिखाने वाले दौर तक पीछा करें, और रास्ते की जाँचें बताएँ।
एक प्रकाशित सहायक-परियोजना ने यह चक्र साफ़ लिखा है। बैच आपस में मिलाए जाते हैं, एक हिस्सा अलग रख लिया जाता है, मॉडल सिखाया जाता है, और फिर बदले हुए मॉडल पर नए बैच आते हैं। बाद में उस दौर पर भरोसा दो बातों से बनता है। अलग रखा गया हिस्सा सुधार के समय बिना पढ़े रहना चाहिए, और हर बैच के साथ यह लिखा होना चाहिए कि निशान किसने और कब लगाए।
आपका बैच दूसरों के साथ मिलाया जाता है और फिर बँटता है: ज़्यादातर दौर में जाता है, कुछ अलग रख लिया जाता है। अलग रखा हिस्सा उसी पल ख़र्च हो जाता है जब कोई सुधार करने के लिए उसकी गलतियाँ पढ़ लेता है। लिखें कि निशान किसने और कब लगाए, क्योंकि बिना नाम वाले बैच को बाद में जाँचा नहीं जा सकता। काम दल पूछता है कि पिछले महीने की बारह सौ निशान लगी जोड़ियाँ नए मॉडल की जाँच से पहले कहाँ-कहाँ गईं।
कमज़ोर तरीका कहता है कि वे सब सिखाने वाले दौर में गईं, और नया मॉडल बेहतर उत्तर देता है, इसलिए निशान लगाना काम आया। न बैच बताता है, न गिनती, न तारीख़।
बेहतर तरीका पीछा करता है: एक हज़ार दौर में, दो सौ अलग रखे गए। उन दो सौ में से दो सुधार के समय पढ़े जा चुके थे, इसलिए रिपोर्ट में एक सौ अट्ठानबे लिखा जाता है।
बेहतर तरीका क्यों काम करता है कमज़ोर पीछा वहीं रुक जाता है कि मॉडल बेहतर लगता है। मज़बूत पीछा बताता है कि क्या अलग रखा गया और क्या ख़र्च हो गया।
बदली हुई स्थिति आज़माएँ साथी संस्था आपके अलग रखे हिस्से से एक आँकड़ा माँगती है। उसके छह सवाल दिशानिर्देश सुधारते समय पढ़े जा चुके हैं।
अब खुद बनाकर देखें अपने किसी एक बैच का रास्ता बनाएँ: निशान किसने लगाए, किस पर सिखाया गया, क्या अलग रखा गया, और क्या ख़र्च हो गया।
मॉडल की बाद की ट्रेनिंग कैसे होती है: 9 में से पाठ 8 आगे पसंद वाले बैच की जाँच करें भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं
मूल या आधिकारिक स्रोत पढ़ें: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)