सीखने के सभी रास्ते समझें देखें करें बनाएँ सीधी पसंद से सिखाना यह पाठ किस बारे में है दोनों रास्ते मिलाकर देखें: अंक देने वाला सिखाकर RL चलाना, या मॉडल को जोड़ी से सीधे बदलना।
संस्था मंडली से कहती है कि अब वह अंक देने वाला नहीं बनाएगी। कमरे में किसी को समझ नहीं आ रहा।
A अंक देने वाला किसी दूसरी मेज़ पर बनेगा और बैच के साथ संस्था को दे दिया जाएगा। B सीधी पसंद वाली सिखाई मॉडल को चुने और छोड़े गए उत्तर से सीधे बदलती है। C जोड़ियों को अंक देने वाला कोई नहीं है, तो आपके निशान अब सिर्फ़ राय हैं, इसलिए बैच रुक सकता है।
याद जाँचें यह काम क्यों ज़रूरी है पुराना रास्ता आपकी जोड़ियों से अंक देने वाला सिखाता है, फिर RL से मॉडल को उसके हिसाब से सुधारता है। सीधी पसंद से सिखाने का तरीका, जो 2023 में प्रकाशित हुआ, इस बीच वाले कदम को हटा देता है और मॉडल को चुने तथा छोड़े गए उत्तर से सीधे बदलता है। आपके निशान लगाने का तरीका नहीं बदलता। एक आदत ज़रूर महँगी हो जाती है: जिस जोड़ी पर बराबरी का निशान है, वह इस रास्ते को कुछ नहीं देती।
बताएँ कि सीधी पसंद से सिखाना पुराने दो-कदम वाले रास्ते से कैसे अलग है, और वह आपके बैच से क्या माँगता है।
पुराना रास्ता आपकी जोड़ियों से अंक देने वाला सिखाता है, फिर RL से मॉडल को उसके हिसाब से सुधारता है। सीधी पसंद से सिखाने का तरीका, जो 2023 में प्रकाशित हुआ, इस बीच वाले कदम को हटा देता है और मॉडल को चुने तथा छोड़े गए उत्तर से सीधे बदलता है। आपके निशान लगाने का तरीका नहीं बदलता। एक आदत ज़रूर महँगी हो जाती है: जिस जोड़ी पर बराबरी का निशान है, वह इस रास्ते को कुछ नहीं देती।
सीधी पसंद वाली सिखाई मॉडल को चुने और छोड़े गए उत्तर से सीधे बदलती है। पुराना रास्ता दो कदम माँगता है: पहले अंक देने वाला सिखाएँ, फिर RL से मॉडल सुधारें। अपने बैच में जो आँकड़ा देखना है वह यह है: कितनी जोड़ियों पर आपने बराबरी का निशान लगाया। काम काम देने वाले ने मंडली से कहा है कि सीधी पसंद वाले दौर के लिए तीन सौ पुरानी जोड़ियाँ दोबारा देख लें।
कमज़ोर तरीका कहता है कि पुराने निशान चल जाएँगे, क्योंकि उत्तर तो वही हैं और बेहतर वाले पर निशान लगा ही है। पर्चा खोले बिना पूरी तीन सौ जोड़ियाँ आगे भेज देता है।
बेहतर तरीका पहले बराबरी वाले निशान गिनता है और तीन सौ में इकतालीस पाता है। उन्हें तय करने या हटाने के लिए वापस भेजता है, और वजह पर्चे पर लिख देता है।
बेहतर तरीका क्यों काम करता है दोनों ने एक ही बैच दोबारा पढ़ा। सिर्फ़ मज़बूत जवाब उन निशानों को गिनता है जिन्हें यह दौर इस्तेमाल ही नहीं कर सकता।
बदली हुई स्थिति आज़माएँ आपकी तीन सौ जोड़ियों में इकतालीस पर बराबरी का निशान है। काम देने वाला इसी हफ़्ते सीधी पसंद वाला दौर चाहता है।
अब खुद बनाकर देखें जिन जोड़ियों पर आपने निशान लगाए, वह बैच लें। बताएँ कि बराबरी वाले कितने हैं, और सीधी पसंद वाले दौर से पहले उनके साथ आप क्या करेंगे।
मॉडल की बाद की ट्रेनिंग कैसे होती है: 9 में से पाठ 7 आगे आपके निशान कहाँ जाते हैं भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं
मूल या आधिकारिक स्रोत पढ़ें: Rafailov et al., Direct Preference Optimization (arXiv)