सीखने के सभी रास्ते समझें देखें करें बनाएँ दूसरों के साथ समीक्षा का दौर चलाएँ यह पाठ किस बारे में है तीन जाँचने वालों को एक जैसे मामले दें, देखें वे कहाँ अलग होते हैं, और लोगों के बजाय निर्देश सुधारें।
पाँच मामले बाँटे गए। आख़िरी पर दो लोगों ने संदेश को धमकी कहा और एक ने मज़ाक। अब क्या करेंगे?
A तीन जाँचने वालों को एक जैसे मामले दें, फिर देखें वे कहाँ बँट जाते हैं। B जो दो सहमत थे उन्हीं के साथ चलें, और तीसरे से कहें कि दोबारा देख ले। C वही संदेश दो और लोगों को भेजें और देखें कि उनमें मेल बैठता है या नहीं।
याद जाँचें यह काम क्यों ज़रूरी है दौर का मकसद किसी ख़राब जाँचने वाले को पकड़ना नहीं है। एक प्रकाशित सुरक्षा अध्ययन में तीन जाँचने वालों ने वही पाँच सौ मामले देखे। लेखक को मिलाकर चारों का आपसी मेल, संयोग का हिस्सा हटा देने के बाद, 0.32 निकला। जब यही आँकना सिर्फ़ हाँ या ना तक घटा दिया गया, तो वह 0.49 हो गया। लेखकों ने दोष लोगों को नहीं, अपने ही काम की शब्दावली को दिया।
साझा मामलों पर एक दौर चलाएँ, देखें जाँचने वाले कहाँ बँटे, और वही निर्देश दोबारा लिखें जिसने उन्हें बाँटा।
दौर का मकसद किसी ख़राब जाँचने वाले को पकड़ना नहीं है। एक प्रकाशित सुरक्षा अध्ययन में तीन जाँचने वालों ने वही पाँच सौ मामले देखे। लेखक को मिलाकर चारों का आपसी मेल, संयोग का हिस्सा हटा देने के बाद, 0.32 निकला। जब यही आँकना सिर्फ़ हाँ या ना तक घटा दिया गया, तो वह 0.49 हो गया। लेखकों ने दोष लोगों को नहीं, अपने ही काम की शब्दावली को दिया।
तीन जाँचने वालों को एक जैसे मामले दें, फिर देखें वे कहाँ बँट जाते हैं। जब लोग असहमत हों, तो जाँचने वाले को दोष देने से पहले निर्देश बदलें। दौर का नतीजा उन सबको बताएँ जो उसमें शामिल थे, अपनी गलती समेत। काम पाँच सुरक्षा मामले तीन जाँचने वालों को गए। चार पर मेल हो गया। पाँचवें पर दो ने संदेश को धमकी कहा और एक ने मज़ाक।
कमज़ोर तरीका जो दो सहमत थे उनके साथ चले जाना, और तीसरे से कहना कि दोबारा देखो जब तक मेल न हो। दौर से एक फ़ैसला निकल आता है, और जिस वाक्य ने उन्हें बाँटा वह दिशानिर्देश में ज्यों का त्यों रहता है।
बेहतर तरीका दोनों समझ लिखता है, दिखाता है कि नियम कहीं नहीं बताता कि धमकी किसे कहेंगे, वही वाक्य दोबारा लिखता है, और नतीजा तीनों को भेज देता है।
बेहतर तरीका क्यों काम करता है बँटवारा ही असली नतीजा था, और बेहतर रास्ता उसी पर काम करता है। वोट गिनने से वह छिप जाता है, और अगले हफ़्ते वही बहस लौट आती है।
बदली हुई स्थिति आज़माएँ आपकी गली के दो दुकानदार नगरपालिका के एक ही नोटिस को उल्टे-सीधे ढंग से पढ़ रहे हैं। कौन-सा नियम अब भी लागू है?
अब खुद बनाकर देखें दो और लोगों के साथ पाँच साझा मामलों पर एक दौर चलाएँ। लिखें किसने क्या तय किया, किस मामले पर वे बँटे, और बाद में आपने निर्देश का कौन-सा वाक्य दोबारा लिखा।
विशेषज्ञता, सुरक्षा और AI सहायक: 8 में से पाठ 8 आगे AI से बने कोड को चलाकर जाँचें भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं
मूल या आधिकारिक स्रोत पढ़ें: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)