अपने आहाँ आ दोसर सभक संग एकसमान रहू

What this lesson is about

देखू जे एकहि वस्तु कतेक दिन धरि एकटा लंबा समूह मे कतेक बदलि रहल अछि। बदलि सँ पहिने अपनाकेँ फेर सँ सही दिशा मे लाबू।

एकटा लंबा बैचक अंतिम दिन अहाँ ओहि आइटम केँ फेर सँ खोलैत छी जे अहाँ शुरू मे चिन्हित कएने रही। आब अहाँ ओकरा अलग तरहेँ चिन्हित करब। की करब?

Why this matters

एकहि वस्तु केँ पहिल दिन आ अंतिम दिन एकहि लेबल भेटबाक चाही। खिसकाव चुपचाप होइत अछि, तेँ ओकरा फिक्स्ड उदाहरण सभ पकड़ैत अछि, नहि जे अहाँ ध्यान सँ कऽ रहल छी।

लंबा बैच मे अपन निर्णयक खिसकाव केँ चिन्हू आ आँकड़ा धरि पहुँचबाक पहिने अपनाकेँ फेर सँ सही जगह पर राखू।

एकहि वस्तु केँ सोमदिन आ शुक्रदिन एकहि लेबल भेटबाक चाही।
हर बेर बैसला सँ पहिने अपन फिक्स्ड उदाहरण सभ केँ फेर सँ पढ़ू, केवल पहिल दिन नहि।
जखन अहाँ पुरान निर्णय बदलैत छी, तखन लिखू जे की बदलल आ किएक।

Task

अहाँ आ दोसर समीक्षा करय वाला दुनू एके चालीस उत्तर पूरा वा अधूरा चिन्हित कएलहुँ। एकटा निश्चित तथ्यक सूची एहि पर निर्णय करैत अछि।

Weak approach गिनती करैत अछि जतय दुनू मिललहुँ: चालीस में बत्तीस। बैच संग सौ में अस्सी के सहमति अंकक रूप में पठबैत अछि। कहियो नहि देखैत अछि जे दुनू में सँ केते बेर पूरा कहलहुँ।

Stronger approach रिपोर्ट करबाक पहिने मौका केँ हटा दैत अछि। अहाँ दुनू चालीस में सँ बत्तीस पर मिललहुँ, जे 0.80 अछि। दुनू पूरा 32 बेर चिन्हित कएलहुँ। मौका मात्र 0.8 x 0.8 आ 0.2 x 0.2 दैत अछि, जे 0.68 अछि। Cohen's kappa 0.80 में सँ 0.68 घटा कऽ, 1 में सँ 0.68 घटाकऽ भाग देल जाएत अछि: 0.38। 0.38, 40 केर गिनती, आ दुनू द्वारा उपयोग कएल गेल निश्चित उदाहरण पठबैत अछि।

Why the stronger approach works सौ में अस्सी सुनबा में निश्चित बुझाइत अछि। जखन दुनू पाँच में सँ चार केँ पूरा कहलहुँ, त मौका अधिकांश सहमति खरीद लैत अछि। बचल अछि 0.38।

Try a changed situation अहाँ आब तीन राति मे स्कूलक उत्तर-पत्रक ढेर चिन्हित कऽ रहल छी। कोन नियम आबो लागू अछि?

Make something yourself जे काज अहाँ बारम्बार करैत छी, ताहि लेल तीन ठो फिक्स्ड उदाहरण लिखू: एकटा स्पष्ट पास, एकटा स्पष्ट फेल, आ एकटा सीमा पर जे निर्णय अहाँने लेलहुँ।

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant (arXiv)