सीखने के सभी रास्ते समझें देखें करें बनाएँ मिलान का दौर चलाएँ और पैमाना दोबारा बैठाएँ यह पाठ किस बारे में है टीम को वही दस सवाल दें, नापें कि उनके निशान कितनी दूर-दूर गिरे, और वह एक लंगर दोबारा लिखें जिसने उन्हें बाँटा।
आपकी टीम के चार लोगों के बैच एक जैसे नहीं पढ़े जाते, और ग्राहक यह कह चुका है। दौर कैसे शुरू करेंगे?
A चारों को साथ बिठाएँ और दस जवाब ज़ोर से पढ़ते हुए तय कर लें। B हर एक के अपने पिछले बैच से दस जवाब लें और उन्हीं को मिलाकर देखें। C सबको वही दस सवाल भेजें, हर कोई अकेले निशान लगाए, और तब तक कोई आपस में बात न करे।
याद जाँचें यह काम क्यों ज़रूरी है एक ही चीज़ को परखते हुए दो ध्यान से काम करने वाले लोग उम्मीद से कहीं ज़्यादा अलग निकलते हैं। सुरक्षा पर हुए एक प्रकाशित काम में चार जाँचने वालों को एक ही मामलों पर नापा गया। संयोग वाला हिस्सा घटाने के बाद उनकी सहमति 0.32 निकली। रेटिंग घटाकर दो दर्जों की करने पर वही 0.49 हो गई। यह आँकड़ा लिखे हुए पैमाने के बारे में है, और अगले दौर से तुलना करने लायक बस यही एक चीज़ है।
टीम के साथ एक ही सवालों पर दौर चलाएँ। नापें कि निशान कितनी दूर-दूर गिरे, और वह लंगर दोबारा लिखें जिसने उन्हें बाँटा।
एक ही चीज़ को परखते हुए दो ध्यान से काम करने वाले लोग उम्मीद से कहीं ज़्यादा अलग निकलते हैं। सुरक्षा पर हुए एक प्रकाशित काम में चार जाँचने वालों को एक ही मामलों पर नापा गया। संयोग वाला हिस्सा घटाने के बाद उनकी सहमति 0.32 निकली। रेटिंग घटाकर दो दर्जों की करने पर वही 0.49 हो गई। यह आँकड़ा लिखे हुए पैमाने के बारे में है, और अगले दौर से तुलना करने लायक बस यही एक चीज़ है।
सबको वही दस सवाल भेजें, हर कोई अकेले निशान लगाए, और तब तक कोई आपस में बात न करे। जो सहमति अकेले संयोग से बन जाती, उसे घटा दें, और जो बचे वही बताएँ। जिस लंगर पर टीम बँटी, उसे दोबारा लिखें, फिर वही दस सवाल दोबारा भेजें। काम छोटी टीम के चार जाँचने वाले पाँच दर्जों के पैमाने पर जवाब परखते हैं। ग्राहक कहता है कि चारों के बैच एक ही बैच जैसे नहीं लगते।
कमज़ोर तरीका चारों को साथ बुलाकर दस जवाब पढ़ देता है और जिस दर्जे पर कमरा राज़ी हो जाए वही लिख लेता है। सब सहमत होकर उठते हैं, और अगले हफ़्ते के बैच पहले जितने ही अलग-अलग रहते हैं।
बेहतर तरीका वही दस सवाल चारों को अलग-अलग भेजता है, हर कोई अकेले निशान लगाता है। दो सवाल ऐसे लौटते हैं जिन पर सबसे नीचे से सबसे ऊपर तक हर दर्जा आ गया है। दोनों ‘कुछ हद तक’ और ‘काफ़ी हद तक’ की लकीर पर बैठे हैं। वही एक लंगर दोबारा लिखता है और दस सवाल फिर भेजता है। उन दो सवालों का फैलाव सिमटकर एक दर्जे का रह जाता है।
बेहतर तरीका क्यों काम करता है कमरे में सहमति इसलिए बन जाती है कि कोई पहले बोल देता है। अकेले लगाए गए दस निशान बताते हैं कि कौन-सा लंगर पढ़ा ही नहीं जा रहा था, और दूसरा दौर बताता है कि उसे दोबारा लिखने से फ़र्क़ पड़ा या नहीं।
बदली हुई स्थिति आज़माएँ दो स्वास्थ्यकर्मी एक ही सुबह उन्हीं बीस बच्चों का वज़न लेते हैं, और उनकी रिपोर्ट नहीं मिलती। ऊपर क्या भेजेंगे?
अब खुद बनाकर देखें एक दौर चलाएँ। वही दस सवाल दो या ज़्यादा लोगों को भेजें, और अकेले लगाए गए निशान इकट्ठा करें। फिर नोट लिखें: कितना फैलाव मिला, कौन-सा लंगर दोबारा लिखा, और तारीख़ क्या थी।
AI ट्रेनर की बुनियाद: 9 में से पाठ 9 आगे अर्थ और स्वाभाविक भाषा जाँचें भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं जिन नियमों से यह काम का नमूना पढ़ा जाता है, एक बने हुए उदाहरण के साथ
मूल या आधिकारिक स्रोत पढ़ें: Ganguli et al., Red Teaming Language Models (arXiv)