पसन्द्-चिह्नसमूहस्य परीक्षणं कुर्वीत

What this lesson is about

पसन्द्-चिह्नानां समूहं उद्घाट्य दोषान् यः मूल्याङ्कर्ता अधिगच्छेत तान् गणयित्वा तस्य टिप्पणीं लिखतु।

नवशतम् चिह्नयुक्त-युग्मानां समूहः प्रयोगशालां प्रति गच्छति। प्रथमं किं गणयसि?

Why this matters

प्रकाशितः सहायक-परियोजनः स्वस्य प्रयोगशालायाः स्वीयैः शोधकैः च भृत्यैः परीक्षकैः च सहमतिरेकं षट्-त्रिंशत् प्रतिशतं मापितवान्। कठिनेषु विषयेषु सावधानं कर्म एवं दृश्यते। अतः यः समूहः स्वयमेव प्रायः पूर्ण-सहमतिरेकं दर्शयति सः प्रथमं उद्घाट्य परीक्षितव्यः। यः आदत् मूल्याङ्कर्तारः अनुकरणीयः तां अन्विष्य।

पसन्द्-चिह्नसमूहस्य परीक्षणं कुर्वीत यत् दोषाः यः मूल्याङ्कर्ता अधिगच्छेत, तान् गणयित्वा तस्य टिप्पणीं लिखतु।

त्रयः दोषाः मूल्याङ्कर्तारं दूषयन्ति: दीर्घता-विजयः, प्रथम-दर्शित-विजयः, एकैकः परीक्षकः चिह्नं कर्तुम्।
सम्पूर्ण-सहमतिरेकः पुरस्कारः न चेतावनी च, यतः कठिनेषु विषयेषु सावधानाः जनाः अपि विभज्यन्ते।
गणनाः नमूना-आकारेण सह प्रकाशयन्तु, च यः दोषः परीक्षितुं न शक्यते तस्य विवरणं कुर्वन्तु।

Task

आरोग्य-सहायता-रेखायाः नवशतम् पसन्द्-युग्मेषु षष्टिं परीक्षणं कुर्वीत शिक्षायाः पूर्वम्।

Weak approach षष्टिं युग्मानि पठति, सर्वाणि चिह्नानि युक्तानि मन्यते, लिखति च समूहः स्वच्छः गच्छेत्। न गणयति न च परीक्षकस्य नाम।

Stronger approach गणयति दीर्घतरं प्रत्युत्तरं अष्टचत्वारिंशत् विजित्य, प्रथम-दर्शितं प्रत्युत्तरं एकविंशतिः विजित्य। उभयोरपि गणनां नमूना-आकारेण सह प्रकाशयति, त्रिंशत् युग्मानां पुनः परीक्षणं याचते क्रमपरिवर्तनेन।

Why the stronger approach works उभौ तैः एव षष्टौ युग्माः पठिताः। दृढं परीक्षणं तां पठनेन द्वे गणनौ निर्मीयते याः क्रेतुं शक्यन्ते।

Try a changed situation तव नमूनस्य षष्टौ कठिनयुग्मेषु उनषष्टौ सहमतिरेकः अस्ति। क्रेता तं उत्तमं कर्म मन्यते।

Make something yourself एकस्य पसन्द्-समूहस्य नमूनं परीक्षणं कुर्वीत। दीर्घता-विजयाः प्रथम-दर्शित-विजयाश्च गणयित्वा समूहेन सह गमिष्यतां टिप्पणीं लिखतु।

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)