जाँच दौर चलाउ आ पैमाना फेर सँ सेट करू

What this lesson is about

एक टीम केँ ओहि दस वस्तु सभ देल जाउ आ मापन करू जे हुनकर निशान कतबा दूर-दूर अछि। फेर ओहि एक लंगर केँ फेर सँ लिखू जे हुनका बाँटलक।

अहाँक टीमक चारि लोकक बैच एक जेकाँ नहि पढ़ाइत अछि, आ ग्राहक सेहो कहि चुकल अछि। अहाँ दौर केना शुरू करब?

Why this matters

दू ध्यानसँ काज करनिहार लोक एकहि वस्तु केँ मूल्यांकन करैत बहुत बेसी भिन्नता देखबैत छथि। एक प्रकाशित सुरक्षा परियोजना मे चारि जाँचकर्ता सभ केँ एकहि मामला पर मापन कैल गेल। संयोगक हिस्सा हटाकय हुनकर सहमति 0.32 छल। जखन रेटिंग केँ दू स्तर धरि घटाओल गेल तऽ ई 0.49 भऽ गेल। ई संख्या लिखल पैमाना सँ संबंधित अछि, आ दोसर दौर सँ तुलना करबाक लेल ई एकमात्र मापदंड अछि।

एकहि वस्तु सभ पर टीमक संग एक दौर चलाउ। मापन करू जे निशान कतबा दूर-दूर अछि, आ ओहि लंगर केँ फेर सँ लिखू जे हुनका बाँटल।

सभ केँ एकहि दस वस्तु पठाउ, जे अकेले चिन्हित करथि, आ ककरो संग तुलना करबाक पहिने।
ओहि सहमति केँ हटाउ जे केवल संयोग सँ बनैत, आ बचल बात रिपोर्ट करू।
टीम जे लंगर पर बाँटल छल, ओकरा फेर सँ लिखू, आ फेर ओहि दस वस्तु फेर सँ पठाउ।

Task

एक छोट टीमक चारि जाँचकर्ता पाँच स्तरक पैमाना पर जवाब सभ केँ मूल्यांकन करैत छथि। हुनकर ग्राहक कहैत छथि जे चारि बैच एकहि जेकाँ नहि लगैत।

Weak approach चारि केँ एक संग बजा कऽ दस जवाब पढ़बैत छथि आ जे स्तर पर सब सहमत होइ छथि, ओहि स्तर केँ लिखि लैत छथि। सभ सहमत भऽ कऽ उठि जाइत छथि, मुदा आगूक सप्ताहक बैच सभ पहिने जेकाँ दूर-दूर रहैत अछि।

Stronger approach एकहि दस वस्तु चारि केँ अलग-अलग पठाओल जाइत अछि, जे सब अकेले चिन्हित करथि। दू वस्तु एहन अबैत अछि जे सब स्तर पर निशान पाओल गेल अछि, नीचाँ सँ ऊपर तक। दुनू वस्तु 'मध्यम रूप सँ पूरा करैत अछि' आ 'बहुत नीक सँ पूरा करैत अछि' केर बीचमे अछि। ओहि एक लंगर केँ फेर सँ लिखल जाइत अछि आ दस वस्तु फेर सँ पठाओल जाइत अछि। ओहि दू वस्तु पर फैलाव एक स्तर धरि सिमटि जाइत अछि।

Why the stronger approach works कमरा मे सहमति तखन बनैत अछि जखन कियो पहिने बाजि दैत अछि। अकेले चिन्हित दस वस्तु बतबैत अछि जे कोन लंगर पढ़बामे कठिन छल, आ दोसर दौर देखबैत अछि जे फेर सँ लिखनाइ काज कएल या नहि।

Try a changed situation दू स्वास्थ्यकर्मी एकहि भोर मे ओहि बीस बच्चा सभक वजन लैत छथि, आ हुनकर रिपोर्ट मेल नहि खाइत अछि। ऊपर की रिपोर्ट करब?

Make something yourself एक दौर चलाउ। एकहि दस वस्तु दू या बेसी लोक केँ पठाउ, आ हुनकर अकेले लगाओल निशान सभ जमा करू। नोट लिखू: फैलाव, फेर सँ लिखल लंगर, आ तारीख।

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)