Skip to lesson

મશીન દ્વારા અનુવાદિત. અંગ્રેજી અને હિન્દી સમીક્ષિત સંસ્કરણો છે.Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

ચેક રાઉન્ડ ચલાવો અને સ્કેલ રીસેટ કરો

What this lesson is about

એક ટીમને એકસરખા દસ આઇટમ આપો અને માપો કે તેમના માર્ક્સ કેટલા દૂર પડે છે. પછી તે એક એન્કર ફરીથી લખો જે તેમને વિભાજિત કરે.

તમારી ટીમના ચાર લોકોના બેચો એકસરખા નથી લાગતા અને ક્લાયંટ એ કહી ચૂક્યો છે. તમે રાઉન્ડ કેવી રીતે શરૂ કરશો?

Why this matters

એક જ વસ્તુને ધ્યાનથી રેટ કરતા બે લોકોની રેટિંગ અપેક્ષા કરતાં વધુ ભિન્ન હોય છે. એક પ્રકાશિત સુરક્ષા પ્રોજેક્ટમાં ચાર સમીક્ષકોને સમાન કેસ પર માપવામાં આવ્યા. સંયોગ કાઢ્યા પછી તેમની સહમતિ 0.32 હતી. જ્યારે રેટિંગ બે સ્તરો સુધી ઘટાડવામાં આવી ત્યારે તે 0.49 થઈ ગઈ. આ આંક લખેલા સ્કેલ વિશે છે અને બીજી રાઉન્ડ સાથે સરખામણી માટે એકમાત્ર વસ્તુ છે.

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)