इनाम मॉडल की की छैक

What this lesson is about

देखू जे चिन्हित जोड़ी सँ की बनैत अछि: एक स्कोरर, जे सही उत्तर पर नहि, अहाँक क्रम पर प्रशिक्षित अछि।

अहाँक आठ सौ चिन्हित जोड़िकेँ बैच सोमदिन एक प्रयोगशाला मे जाइत अछि। एक सहकर्मी पुछैत अछि जे ओहि सँ की बनत।

Why this matters

एक प्रकाशित सारांश मे एहि संरचना देखल गेल अछि। चिन्हित जोड़ी सँ स्कोरर प्रशिक्षित होइत अछि, आ मॉडल ओकरा अनुसार सुधारल जाइत अछि। तेँ अहाँक जोड़ी कोनो उत्तर नहि अछि जे मॉडल नकल करत। ई स्कोरर केर शिक्षण मे एक पंक्ति अछि, आ मॉडल ओकरा खुश करबाक लेल प्रेरित होइत अछि।

बताउ जे इनाम मॉडल की अछि, की पर प्रशिक्षित होइत अछि, आ एक चिन्हित जोड़ी की बनैत अछि।

इनाम मॉडल एक स्कोरर अछि जे अहाँक जोड़िकेँ सीखैत अछि, सही उत्तर सँ नहि।
एक जोड़ी केवल क्रम सिखबैत अछि: एहि प्रश्न लेल ई उत्तर दोसर सँ ऊपर अछि।
मॉडल बाद मे ओहि स्कोर केँ बढ़ेबा लेल प्रेरित होइत अछि, तेँ कमजोर स्कोरर कमजोर आदत सिखबैत अछि।

Task

स्वास्थ्य उत्तरक आठ सौ चिन्हित जोड़ी प्रशिक्षण लेल पठाओल जाइत अछि। बताउ जे एक जोड़ी की बनैत अछि।

Weak approach कहैत अछि जे प्रत्येक चुनल उत्तर मॉडल लेल एक उदाहरण बनि जाइत अछि। आठ सौ जोड़िकेँ आठ सौ आदर्श उत्तर बुझैत अछि जे मॉडल नकल करत।

Stronger approach कहैत अछि जे प्रत्येक जोड़ी स्कोरर लेल एक तुलना बनि जाइत अछि। स्कोरर सीखैत अछि जे एक उत्तर दोसर सँ ऊपर अछि। मॉडल बाद मे ओहि स्कोर केँ बढ़ेबा लेल प्रेरित होइत अछि।

Why the stronger approach works कमजोर बुझाइ चुनल उत्तर केँ आदर्श उत्तर बनबैत अछि जे नकल करबाक योग्य हो। जोड़ी मे क्रम होइत अछि, शब्द नहि।

Try a changed situation दुकान समीक्षा टीम मराठी जोड़िकेँ चिन्हित करैत अछि। हुनकर स्कोरर आब लगभग सभ बेर लंबा उत्तर केँ ऊपर राखैत अछि।

Make something yourself एहि सप्ताह अहाँ जे एक जोड़ी चिन्हित केलहुँ, ओकरा लिअ। लिखू जे स्कोरर ओकरा सँ की सीखैत अछि, आ एक बात जे ओ नहि सिखि सकैत अछि।

Read the primary or official source: Stiennon et al., Learning to summarize from human feedback (arXiv)