दोसर सभक संग समीक्षा दौर चलाउ

What this lesson is about

तीन समीक्षक सभ केँ एके तरहक मामला दिअ, जतय ओ सभ बँटैत छथि से देखू, आ लोकक बदला निर्देश केँ सुधारू।

पाँच मामला बाहर गेल। अंतिम पर, दुइ लोक एकटा संदेश के धमकी कहलनि आ एकटा मजाक। आब की करब?

Why this matters

एक दौर खराब समीक्षक केँ पकड़बाक लेल नहि होइत अछि। एक प्रकाशित सुरक्षा अध्ययन मे तीन समीक्षक सभ एकहि पाँच सौ मामला केँ जाँच कएलनि। लेखक केँ जोड़ि कऽ, चारि क बीच सहमति मौका हटाकऽ 0.32 रहल। जखन रेटिंग केँ हँ या नहि मे घटाओल गेल, तऽ ई 0.49 भऽ गेल। लेखक सभ दोष लोक पर नहि, अपन काजक शब्दावली पर देलनि।

साझा मामला पर एक दौर चलाउ, देखू जतय समीक्षक बँटल, आ ओहि निर्देश केँ फेर सँ लिखू जे हुनका बाँटल।

तीन समीक्षक केँ एके तरहक मामला दिअ, फेर देखू जतय ओ सभ बँटल।
जखन लोक असहमत होइ, तखन समीक्षक केँ दोष देबाक पहिने निर्देश बदलू।
दौरक परिणाम सभ केँ बताउ जे ओहि मे भाग लेलनि, अपन गलती सहित।

Task

पाँच सुरक्षा मामला तीन समीक्षक केँ देल गेल। चारि मेल खायल। पाँचम पर दू गोटे संदेश केँ धमकी कहलनि आ एक गोटे मजाक।

Weak approach ओहि दुइ गोटे सं जे सहमत छलाह, संग चलैत छथि आ तेसर गोटे सँ कहैत छथि जे फेर सँ देखू जब तक ओ सहमत नहि भऽ जाए। एहि दौर सँ एकटा निर्णय निकलैत अछि, आ जे वाक्य हुनका बाँटलनि से दिशानिर्देश मे जेकाँ रहैत अछि।

Stronger approach दू तरहक बुझाइ लिखैत अछि, देखबैत अछि जे नियम कतहु नहि कहैत अछि धमकी की होइत अछि, ओहि वाक्य केँ फेर सँ लिखैत अछि, आ परिणाम तीनू केँ पठबैत अछि।

Why the stronger approach works बँटवारा असली निष्कर्ष छल, आ मजबूत तरीका ओहि पर काज करैत अछि। वोटिंग सँ ओ छुपि जाइत अछि, आ अगिला सप्ताह फेर ओहि बहस आबि जाइत अछि।

Try a changed situation अहाँक गलीक दू दुकानदार एके नगरपालिका नोटिस केँ उल्टा-पुल्टा पढ़ि रहल छथि। कोन नियम अबहियो लागू अछि?

Make something yourself दोसर दू गोटे संग पाँच साझा मामला पर एक दौर चलाउ। लिखू के की निर्णय केलक, जतय ओ सभ बँटल, आ बाद मे अहाँ जे निर्देशक वाक्य फेर सँ लिखलहुँ।

Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)