Skip to lesson

मशीनने अनुवादित केले आहे. इंग्रजी आणि हिंदी ही पुनरावलोकित आवृत्त्या आहेत.Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

तपासणीचा एक फेरी चालवा आणि मापनपद्धत रीसेट करा

What this lesson is about

एका टीमला तेच दहा आयटम द्या आणि त्यांच्या गुणांमधील अंतर मोजा. नंतर त्यांना विभाजित करणारा एक लंगर पुन्हा लिहा.

तुमच्या टीममधील चार लोकांचे बॅच एकसारखे वाचले जात नाहीत, आणि ग्राहकाने ते म्हटले आहे. तुम्ही फेरी कशी सुरू कराल?

Why this matters

एकाच गोष्टीचे दोन काळजीपूर्वक मूल्यांकन करणारे लोक अपेक्षेपेक्षा जास्त वेगळे असतात. एका प्रसिद्ध सुरक्षा प्रकल्पात चार पुनरावलोककांना एकाच प्रकरणांवर मोजले गेले. संयोग वगळल्यानंतर त्यांची सहमती 0.32 होती. जेव्हा रेटिंग दोन स्तरांपर्यंत कमी केली गेली तेव्हा ती 0.49 झाली. हा आकडा लिहिलेल्या मापनपद्धतीबद्दल आहे आणि दुसऱ्या फेरीशी तुलना करण्यासाठी एकमेव आधार आहे.

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)