इनाम मॉडल की है

What this lesson is about

देखो कि निशान लगी जोड़ियाँ तों की बनदा है: एक scorer, जो सही जवाब दी बजाय तुहाडे क्रम तों सिखदा है।

तुहाडा आठ सौ निशान लगी जोड़ियाँ वाला बैच सोमवार नु लैब जांदा है। साथी पुछदा है कि लैब उस तों की बनाएगी।

Why this matters

एक प्रकाशित सारांश रन विच एही ढांचा दिखदा है। निशान लगी जोड़ियाँ scorer नु सिखांदी हैं, अते मॉडल नु फेर scorer दे हिसाब नाल सुधारया जान्दा है। इसलई तुहाडी जोड़ि कोई जवाब नहीं जो मॉडल नकल करेगा। ए scorer दी अपनी सिखाई दी एक लाइन है, अते बाद विच मॉडल नु scorer नु खुश करन वास्ते धकेलया जान्दा है।

दसो कि इनाम मॉडल की है, किस चीज़ ते सिखाया जान्दा है, अते एक निशान लगी जोड़ि की बनदी है।

इनाम मॉडल एक scorer है, जो तुहाडे जोड़ियाँ तों सिखदा है, सही जवाब तों नहीं।
एक जोड़ि सिरफ क्रम सिखांदी है: इस सवाल वास्ते ए जवाब उस जवाब तो ऊपर है।
मॉडल नु बाद विच उस अंक नु वधाण वास्ते धकेलया जान्दा है, इसलई कमजोर scorer कमजोर आदतां सिखांदा है।

Task

सेहत वाले जवाबां दी आठ सौ निशान लगी जोड़ियाँ ट्रेनिंग वास्ते जानदी हैं। दसो कि एक जोड़ि की बनदी है।

Weak approach कहंदा है कि हर चुना हुआ जवाब मॉडल वास्ते एक सिखाई वाला उदाहरण बनदा है। आठ सौ जोड़ियाँ नु आठ सौ आदर्श जवाब समझदा है, जिहनु मॉडल नकल करेगा।

Stronger approach कहंदा है कि हर जोड़ि scorer वास्ते एक तुलना बनदी है। scorer सिखदा है कि एक जवाब दूसरे तो ऊपर है। मॉडल नु फेर उस अंक नु वधाण वास्ते धकेलया जान्दा है।

Why the stronger approach works कमजोर समझ चुने हुए जवाब नु आदर्श जवाब बना दिंदी है। जोड़ि विच क्रम हुंदा है, शब्द नहीं।

Try a changed situation दुकान समीक्षा वाली टीम मराठी जोड़ियाँ निशान लगांदी है। उस scorer हनर लंबा जवाब हर वार ऊपर रखदा है।

Make something yourself इस हफ्ते तुसीं जिहड़ी जोड़ि निशान लगाई, ओह लो। लिखो scorer उस तों की सिखदा है, अते एक गल जो उस तों नहीं सिख सकदा।

Read the primary or official source: Stiennon et al., Learning to summarize from human feedback (arXiv)