Skip to lesson

मशीनान अनुवाद केलेलो. इंग्लिश आनी हिंदी रिव्ह्यू केलेल्या आवृत्त्या आसा.Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

एक चेक राउंड चालवप आनी स्केल रीसेट करप

What this lesson is about

एक टीमाक तशेंच दहा आयटम द्या आनी माप करा कितलें दूर त्यांचे मार्क्स पडतात. नंतर तो एक अँकर पुन्हा लिहा जें त्यांना विभाजित केलं.

तुझ्या टीममधले चार लोक वेगळे बॅच देतात, आनी क्लायंट म्हणालो आसा. राउंड कशें सुरू करशील?

Why this matters

दोन काळजीपूर्वक लोक एकसारख्या गोष्टीला वेगळ्या प्रकारे रेट करतात, अपेक्षेपेक्षा जास्त फरक असतो. एका प्रकाशित सुरक्षा प्रोजेक्टमध्ये चार रिव्ह्यूअर्सना तशेंच केसवर मोजलं गेलं. संयोग वगळल्यावर त्यांची सहमती 0.32 होती. जेव्हा रेटिंग दोन स्तरांपर्यंत कमी केली तेव्हा ती 0.49 झाली. ही आकडेमोड लिहिलेल्या स्केलसाठी आहे, आनी दुसर्या राउंडशी तुलना करता येणारी एकमेव गोष्ट आसा.

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)