All learning paths Learn See Try Make पसंद बॅचचे ऑडिट करा What this lesson is about पसंद मार्क्सचा एक बॅच उघडा आणि मोजा की स्कोरर त्यातून कोणत्या चुका शिकेल, नंतर नोट लिहा.
नऊशे मार्क केलेल्या जोड्यांचा बॅच प्रयोगशाळेकडे जाण्यापूर्वी तुमच्या टेबलावर येतो. तुम्ही प्रथम काय मोजाल?
A प्रत्येक व्यक्तीने किती जोड्या पूर्ण केल्या, ज्यामुळे हळू टेबल असल्यास प्रयोगशाळेच्या तक्रारीपूर्वी लक्षात येईल. B स्कोररला त्रास देणाऱ्या तीन चुका: लांब उत्तर जिंकणे, प्रथम दाखवलेले उत्तर जिंकणे, आणि एकटा पुनरावलोकक मार्क करणे. C निवडलेली उत्तरे चांगली वाचतात का, कारण चांगली निवडलेली उत्तरे चांगला बॅच तयार करतात.
Check my recall Why this matters प्रकाशित सहाय्यक प्रकल्पाने आपल्या संशोधक आणि भरती पुनरावलोककांमधील सहमती सुमारे तिरसष्ट टक्के मोजली होती. कठीण प्रकरणांवर काळजीपूर्वक काम असे दिसते. त्यामुळे जवळजवळ पूर्ण सहमती असलेला बॅच प्रथम उघडा. तुम्ही शोधत आहात ती सवय जी स्कोरर नक्कल करेल.
स्कोरर कोणत्या चुका शिकेल हे जाणून घेण्यासाठी पसंद मार्क्सचा बॅच ऑडिट करा. त्यासोबत जाणारी नोट लिहा.
प्रकाशित सहाय्यक प्रकल्पाने आपल्या संशोधक आणि भरती पुनरावलोककांमधील सहमती सुमारे तिरसष्ट टक्के मोजली होती. कठीण प्रकरणांवर काळजीपूर्वक काम असे दिसते. त्यामुळे जवळजवळ पूर्ण सहमती असलेला बॅच प्रथम उघडा. तुम्ही शोधत आहात ती सवय जी स्कोरर नक्कल करेल.
स्कोररला त्रास देणाऱ्या तीन चुका: लांब उत्तर जिंकणे, प्रथम दाखवलेले उत्तर जिंकणे, आणि एकटा पुनरावलोकक मार्क करणे. जवळजवळ परिपूर्ण सहमती ही बक्षीस नाही, चेतावणी आहे, कारण कठीण प्रकरणांवर काळजीपूर्वक लोकही विभक्त होतात. नमुना आकारासह मोजणी नोंदवा, आणि कोणती चूक तपासू शकली नाही ते सांगा. Task आरोग्य हेल्पलाइनच्या नऊशे पसंद जोड्यांमधून साठ जोड्यांचे ऑडिट करा, प्रशिक्षणापूर्वी.
Weak approach साठ जोड्या वाचतो, प्रत्येक मार्क योग्य वाटतो, आणि लिहितो की बॅच स्वच्छ आहे आणि जाऊ शकतो. काहीही मोजत नाही आणि पुनरावलोककाचे नाव लिहित नाही.
Stronger approach मोजतो: साठपैकी अडताळीस वेळा लांब उत्तर जिंकले, आणि इकताळीस वेळा प्रथम दाखवलेले उत्तर जिंकले. दोन्ही मोजणी नमुन्यासह नोंदवतो, आणि तीस जोड्या उलट क्रमाने पुन्हा मार्क करण्यास सांगतो.
Why the stronger approach works दोघांनीही तेच साठ जोड्या वाचल्या. मजबूत ऑडिट त्या वाचनाला दोन मोजण्यांमध्ये रूपांतरित करतो ज्याची खरेदीदार तपास करू शकतो.
Try a changed situation तुमच्या नमुन्यातील साठ कठीण जोड्यांपैकी उनसष्टवर दोन्ही पुनरावलोककांची सहमती आहे. खरेदीदार ते उत्कृष्ट काम म्हणतो.
Make something yourself एका पसंद बॅचच्या नमुन्याचे ऑडिट करा. लांब उत्तरांची आणि प्रथम दाखवलेल्या उत्तरांची जिंकणं मोजा, नंतर बॅचसह जाणारी नोट लिहा.
Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)