अपने आप ते ते दूसर्यां नाल एकसार रहो

What this lesson is about

देखो कि इक ही चीज़ लंबे काम विच किमें बदलदी है। बदलाव डाटा तक पहुंचन तो पहले आपणे आप नूं रोक लो।

लंबे बैच दे आखिरी दिन तुसी ओह आइटम फेर खोलदे हो जिड़ा तुसी शुरू विच मार्क कीता सी। हुण तुसी उसनूं अलग तरह नाल मार्क करोगे। हुण की करणा?

Why this matters

इक ही आइटम नूं पहले ते आखिरी दिन एकसार लेबल मिलना चाहिए। बदलाव चुपचाप हुंदा है, इसलई एंकरां नाल पकड़ा जान्दा है, ध्यान नाल करन नाल नहीं।

लंबे काम विच अपने फैसले दा बदलाव देखो ते डाटा तक पहुंचन तो पहले आपणे आप नूं फिर सही जगह लाओ।

इक ही आइटम नूं सोमवार ते शुक्रवार दोनों दिन एकसार लेबल मिलना चाहिए।
हर वारी काम शुरू करन तो पहले तयशुदा उदाहरण दोबारा पढ़ो, सिरफ पहले दिन नहीं।
जदो तुस्सी पुराना फैसला बदलदे हो, त फेर लिखो कि की बदला ते क्यूं।

Task

तुस्सी ते एक होर रिव्युअर ने इकठे उन्नीचालिस जवाब पूरा या अधूरा चिन्हित किते। इक तय तथ्यां दी सूची इसदा फैसला करदी ऐ।

Weak approach गिनती करदा ऐ जिथे तुस्सी दोहां ने मेल खाया: उन्नीचालिस विच तैंतीस। बैच नाल सहमति दी संख्या वजों सौं विच अस्सी भेजदा ऐ। कदे वी नहीं देखदा कि तुस्सी दोहां ने पूरा कितनी वार कहा।

Stronger approach रिपोर्ट करन तों पहलां मौका हटांदा ऐ। तुस्सी दोहां ने उन्नीचालिस विच तैंतीस ते मेल खाया, जेडा 0.80 ऐ। तुस्सी दोहां ने पूरा तैंतीस वार चिन्हित कित्ता। मौका अकेल्ला फेर 0.8 गुणा 0.8 ते 0.2 गुणा 0.2 दा जोड़, जेडा 0.68 बनदा ऐ। Cohen's kappa 0.80 विचों 0.68 घटाके, 1 विचों 0.68 घटाके भाग देवे त 0.38 बनदा ऐ। 0.38, उन्नीचालिस दी गिनती ते दोहां ने जेडे तय उदाहरण इस्तेमाल किते ओ सब नाल भेजदा ऐ।

Why the stronger approach works सौं विच अस्सी सुनन विच पक्का लगदा ऐ। जिथे तुस्सी दोहां ने पांच विचों चार पूरा कहिया, ओथे मौका ज्यादातर सहमति खरीद लेंदा ऐ। बचदा ऐ 0.38।

Try a changed situation हुण तुस्सी तीन शामां विच स्कूल दी उत्तर पुस्तिकां दा ढेर मार्क कर रहे हो। किहड़ा नियम हुण वी लागू है?

Make something yourself ओह तीन तयशुदा उदाहरण लिखो जड़े तुस्सी बार-बार करदे हो: इक साफ़ पास, इक साफ़ फेल, ते इक किनारे दा मामला जिस समझ नूं तुस्सी इस्तेमाल करन दा फैसला कीता।

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant (arXiv)