मेसिन अनुवाद गरिएको। अंग्रेजी र हिन्दी समीक्षा गरिएका संस्करणहरू हुन्।English हिन्दी

Learn
See
Try
Make

आफ्नो र अरूको साथ सुसंगत रहनुहोस्

What this lesson is about

कसरी एउटै वस्तु लामो ब्याचमा फरक हुन्छ हेर्नुहोस्। डाटा पुग्नु अघि आफैँलाई फर्काउनुहोस्।

लामो ब्याचको अन्तिम दिनमा तपाईंले सुरुमा मार्क गरेको एउटा वस्तु फेरि खोल्नुहुन्छ। अब तपाईंले त्यसलाई फरक तरिकाले मार्क गर्नुहुन्छ। अब के गर्ने?

Why this matters

उही इनपुटले पहिलो र अन्तिम दिन उही लेबल पाउनु पर्छ। खिस्कावट चुपचाप हुन्छ, त्यसैले एंकरहरूले पत्ता लगाउँछन्, सावधानीपूर्वक गर्ने महसुसले होइन।

लामो ब्याचमा आफ्नै खिस्कावट थाहा पाउनुहोस् र डाटामा पुग्नु अघि आफैँलाई पुनः एंकर गर्नुहोस्।

उही वस्तुले सोमबार र शुक्रबार उही लेबल पाउनु पर्छ।
हरेक सत्र अघि निश्चित उदाहरणहरू पुनः पढ्नुहोस्, केवल पहिलो दिन होइन।
अघिल्लो निर्णय परिवर्तन गर्दा के र किन परिवर्तन भयो लेख्नुहोस्।

Task

तपाईं र अर्को समीक्षकले उही चालीस उत्तरहरूलाई पूरा वा अधूरो भनेर चिन्ह लगाउनुभयो। एउटा निश्चित तथ्यहरूको सूचीले निर्णय गर्छ।

Weak approach गन्ती गर्छ जहाँ तपाईं दुवैले मेल खानुभयो: चालीस मध्ये बत्तीस। ब्याचसँग सहमति अंकको रूपमा सयमा अस्सी पठाउँछ। कहिल्यै हेर्दैन कि तपाईं मध्ये कसले कति पटक पूरा भने।

Stronger approach रिपोर्ट गर्नु अघि सम्भावना हटाउँछ। तपाईंले ४० मध्ये ३२ मा मेल खानुभयो, जुन ०.८० हो। तपाईं दुवैले ३२ पटक पूरा चिन्ह लगाउनुभयो। सम्भावनाले मात्र ०.८ गुणा ०.८ र ०.२ गुणा ०.२ दिन्छ, जुन ०.६८ हुन्छ। Cohen's kappa हुन्छ ०.८० माइनस ०.६८, भाग १ माइनस ०.६८: ०.३८। ०.३८, ४० को गन्ती, र तपाईं दुवैले प्रयोग गरेका निश्चित उदाहरणहरू पठाउँछ।

Why the stronger approach works सयमा अस्सी स्थिर देखिन्छ। एउटा ब्याचमा जहाँ तपाईं दुवैले पाँचमा चारलाई पूरा भन्नुभयो, त्यहाँ अधिकांश सहमति सम्भावनाले किन्छ। बाँकी रहन्छ ०.३८।

Try a changed situation अब तपाईं तीन साँझमा विद्यालयका उत्तरपत्रहरूको थुप्रो मार्क गर्दै हुनुहुन्छ। कुन नियम अझै लागू हुन्छ?

Make something yourself तपाईंले बारम्बार गर्ने कामका लागि तीन निश्चित उदाहरणहरू लेख्नुहोस्: एक स्पष्ट पास, एक स्पष्ट फेल, र एक सीमाना केस जुन तपाईंले निर्णय गर्नुभएको छ।

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant (arXiv)