पसंद बैच के जाँच करू

What this lesson is about

पसंद के निशानक बैच खोलू आ गड़बड़ी सभ के गिनती करू जे स्कोरर सिखत, फेर नोट लिखू।

नौ सौ निशान लगायल जोड़ी के बैच प्रयोगशाला जाए सऽ पहिने अहाँक मेज पर अबैत अछि। अहाँ सबसँ पहिने की गिनब?

Why this matters

एक प्रकाशित सहायक परियोजना अपन टीम आ भुगतान कएल जाँचकर्ता सभक बीच लगभग तिरसठ प्रतिशत सहमति मापन केने छल। कठिन मामला सभ पर सावधानीपूर्वक काज एहेन होइत अछि। तें जे बैच लगभग पूर्ण सहमति देखबैत अछि, ओकरा पहिने खोलू आ ओहि आदत के खोजू जे स्कोरर नकल करत।

पसंद निशानक बैच के जाँच करू जे स्कोरर कोन गड़बड़ी सिखत, आ संगहि नोट लिखू।

तीन गड़बड़ी स्कोरर के खराब करैत अछि: लंबाई जीतब, पहिल देखायल जवाब जीतब, आ एकल जाँचकर्ता द्वारा मार्किंग।
लगभग पूर्ण सहमति पुरस्कार नहि, चेतावनी थिक, कारण कठिन मामला सभ पर सावधान लोक सेहो बँटैत अछि।
गिनती सभ नमूना आकार संग रिपोर्ट करू, आ लिखू जे कोन गड़बड़ी अहाँ जाँच नहि कऽ सकलहुँ।

Task

स्वास्थ्य हेल्पलाइन के नौ सौ पसंद जोड़ी में सँ साठ के जाँच करू, प्रशिक्षण सऽ पहिने।

Weak approach साठ जोड़ी पढ़ैत अछि, सभ निशान ठीक बुझैत अछि, आ लिखैत अछि जे बैच साफ अछि आ जा सकैत अछि। किछु गिनैत नहि आ कोनो जाँचकर्ता के नाम नहि लिखैत।

Stronger approach गिनैत अछि: साठ में सँ अड़तालीस बेर लंबा जवाब जीतल, आ इकतालीस बेर पहिल देखायल जवाब। दुनू गिनती नमूना आकार संग रिपोर्ट करैत अछि, आ तीस जोड़ी फेर सँ उल्टा क्रम में मार्क करबाक अनुरोध करैत अछि।

Why the stronger approach works दूनू एकहि साठ जोड़ी पढ़ने छल। मजबूत जाँच ओहि पढ़ाई के दू गिनती में बदलि दैत अछि जे ग्राहक जाँचि सकैत अछि।

Try a changed situation अहाँक नमूना के साठ कठिन जोड़ी में सँ उनसठ पर दूनू जाँचकर्ता सहमत छथि। ग्राहक एकरा उत्कृष्ट काज कहैत अछि।

Make something yourself एक पसंद बैच के नमूना जाँच करू। लंबा जवाब के जीत आ पहिल देखायल जवाब के जीत गिनू, फेर बैच संग जाए वाला नोट लिखू।

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)