All learning paths Learn See Try Make तुमचे निशान कितें जातात What this lesson is about तुमच्या स्क्रीनाकून एक रेटिंग बॅचाक ट्रेनिंग रनाक फाळा, आनी रस्त्यांत जाल्या तपासां दिसा.
तुमी शुक्रवार दोनशे ओळी पूर्ण करून पाठवता. तुमचो चुलत भाऊ विचारता की त्या संध्याकाळी मॉडल बदलतलो का?
A प्रत्येक ओळ पाठवतानाच मॉडलाक पोचतली, मुळें बदल त्या रात्रीच सुरू जालो. B तुमचो बॅच इतरांबरोबर एकत्र केलें जातं आनी मग वाटप केलं जातं: जास्त भाग रनाक जातो, थोडें बाजूंक ठेवतात. C ओळी साठवणीत बसतात जोपर्यंत कोणीतरी मागणी करत न्हय, आनी काही बाजूंक ठेवत न्हय.
Check my recall Why this matters एक प्रकाशित सहाय्यक रन ह्या चक्राक सोपें सांगतात. बॅच एकत्र केल्या जातात, एक भाग बाजूंक ठेवतात, मॉडल ट्रेनिंग केलें जातं, आनी बदललेल्या मॉडलावर नवीन बॅच येतात. दोन गोष्टी ठरवतात की रन नंतर विश्वासार्ह आसा की न्हय. बाजूंक ठेवलेलो सेट — जें मॉडल कधी ट्रेनिंग करत न्हय — तो दुरुस्ती दरम्यान न वाचपाचो आसा. आनी प्रत्येक बॅचांत कोणांनी आनी कधी मार्क केलें ते लिहिलें आसा.
तुमच्या स्क्रीनाकून एक रेटिंग बॅचाक ट्रेनिंग रनाक फाळा, आनी रस्त्यांत जाल्या तपासां नांव सांगा.
एक प्रकाशित सहाय्यक रन ह्या चक्राक सोपें सांगतात. बॅच एकत्र केल्या जातात, एक भाग बाजूंक ठेवतात, मॉडल ट्रेनिंग केलें जातं, आनी बदललेल्या मॉडलावर नवीन बॅच येतात. दोन गोष्टी ठरवतात की रन नंतर विश्वासार्ह आसा की न्हय. बाजूंक ठेवलेलो सेट — जें मॉडल कधी ट्रेनिंग करत न्हय — तो दुरुस्ती दरम्यान न वाचपाचो आसा. आनी प्रत्येक बॅचांत कोणांनी आनी कधी मार्क केलें ते लिहिलें आसा.
तुमचो बॅच इतरांबरोबर एकत्र केलें जातं आनी मग वाटप केलं जातं: जास्त भाग रनाक जातो, थोडें बाजूंक ठेवतात. बाजूंक ठेवलेलो भाग तेंव्हां खर्च जालो जेंव्हां कोणीतरी त्याच्या चुका वाचून दुरुस्ती करतात. कोणांनी आनी कधी मार्क केलें ते लिहा, कारण नाव नसलें बॅच नंतर तपासू शकत न्हय. Task एक टीम विचारता की मागील महिन्याच्या बारा शंभर मार्क केलेल्या जोड्यां कितें गेल्या नव्या मॉडलाची चाचणी होण्यापूर्वी.
Weak approach सांगतात की ते सगळे ट्रेनिंग रनांत गेले, आनी नवीन मॉडल चांगले उत्तर देतं, मुळें मार्किंग यशस्वी जालें. बॅच, मोजणी आनी तारीख न सांगतात.
Stronger approach त्यांचो मागोवा घेतात: हजार रनांत, दोनशे बाजूंक ठेवले. त्या दोनशेतील दोन दुरुस्ती दरम्यान वाचले गेले, मुळें अहवालात एकशे अठ्ठ्याण्णव लिहिलें.
Why the stronger approach works कमजोर मागोवा फक्त मॉडल चांगलें वाटणें सांगतात. मजबूत मागोवा काय बाजूंक ठेवले आनी काय खर्च जालें ते सांगतात.
Try a changed situation एक भागीदार तुमच्या बाजूंक ठेवलेल्या भागांतून एक आकडा मागतात. त्याच्या सहा आयटम्स दुरुस्ती करताना वाचले गेले.
Make something yourself तुमच्या काम केलेल्या एका बॅचाच रस्ता रेखाट.
Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)