இயந்திர மொழிபெயர்ப்பு. ஆங்கிலம் மற்றும் ஹிந்தி மதிப்பாய்வு செய்யப்பட்ட பதிப்புகள்.English हिन्दी

Learn
See
Try
Make

ஒரு சரிபார்ப்பு சுற்றை நடத்தி அளவுகோலை மீட்டமைக்கவும்

What this lesson is about

ஒரு குழுவுக்கு அதே பத்து பொருட்களை கொடுத்து, அவர்களின் மதிப்பீடுகள் எவ்வளவு வித்தியாசமாக உள்ளன என்பதை அளவிடுங்கள். பின்னர் அவர்களை பிரித்த ஒரு அங்காரை மறுபடியும் எழுதுங்கள்.

உங்கள் குழுவில் நான்கு பேர் சமமானதாக இல்லாத தொகுதிகளை சமர்ப்பிக்கிறார்கள். வாடிக்கையாளர் இதை ஏற்கனவே கூறியுள்ளார். நீங்கள் சுற்றை எப்படி தொடங்குவீர்கள்?

Why this matters

ஒரே பொருளை கவனமாக மதிப்பிடும் இரண்டு நபர்கள் எதிர்பார்ப்பதைவிட அதிக வித்தியாசம் காட்டுவர். ஒரு வெளியிடப்பட்ட பாதுகாப்பு திட்டத்தில் நான்கு மதிப்பாய்வாளர்கள் ஒரே வழக்குகளில் மதிப்பிடப்பட்டனர். சாத்தியக்கூறுகளை கழித்த பிறகு அவர்களின் ஒப்பந்த மதிப்பீடு 0.32 ஆக இருந்தது. மதிப்பீட்டை இரண்டு நிலைகளுக்கு குறைத்தபோது அது 0.49 ஆக உயர்ந்தது. அந்த எண் எழுதப்பட்ட அளவுகோலை குறிக்கும், மற்றும் இரண்டாவது சுற்றுடன் ஒப்பிடக்கூடிய ஒரே விஷயம் ஆகும்.

ஒரே பொருட்களுடன் ஒரு சுற்றை குழுவுடன் நடத்துங்கள். மதிப்பீடுகள் எவ்வளவு வித்தியாசமாக உள்ளன என்பதை அளவிடுங்கள், மற்றும் அவர்களை பிரித்த அங்காரை மறுபடியும் எழுதுங்கள்.

எல்லாருக்கும் அதே பத்து பொருட்களை தனித்தனியாக மதிப்பிட அனுப்புங்கள், யாரும் குறிப்பு ஒப்பிடும் முன்.
சாத்தியக்கூறுகளால் உருவான ஒப்பந்தத்தை கழித்து, மீதமுள்ளதை அறிக்கை செய்யுங்கள்.
குழுவை பிரித்த அங்காரை மறுபடியும் எழுதுங்கள், பின்னர் அதே பத்து பொருட்களை மீண்டும் அனுப்புங்கள்.

Task

சிறிய குழுவில் நான்கு மதிப்பாய்வாளர்கள் ஐந்து நிலை அளவுகோலில் பதில்களை மதிப்பிடுகின்றனர். அவர்களின் வாடிக்கையாளர் நான்கு தொகுதிகள் ஒன்றாக இல்லையென்று கூறுகிறார்.

Weak approach நான்கையும் ஒன்றாக கூடி, பத்து பதில்களை வாசித்து, அறை ஒப்புக்கொண்ட நிலையை எடுத்துக் கொள்கிறார். அனைவரும் ஒப்புக்கொண்டு வெளியேறுகிறார்கள், அடுத்த வார தொகுதிகள் முன்பைப்போல் வித்தியாசமாகவே உள்ளன.

Stronger approach அதே பத்து பொருட்களை நான்கு பேருக்கும் தனித்தனியாக அனுப்புகிறார். இரண்டு பொருட்கள் மிகக் குறைந்த நிலை முதல் மிக உயர்ந்த நிலை வரை அனைத்து நிலைகளையும் கொண்டுள்ளன. இரண்டும் 'மிதமான அளவில்' மற்றும் 'மிக அதிகமாக' இடையேயான வரியில் உள்ளன. அந்த அங்காரை மறுபடியும் எழுதுகிறார் மற்றும் பத்து பொருட்களை மீண்டும் அனுப்புகிறார். அந்த இரண்டு பொருட்களின் பரவல் ஒரு நிலைக்கு குறைகிறது.

Why the stronger approach works ஒருவர் முதலில் பேசுவதால் அறையில் ஒப்புதல் உருவாகிறது. தனித்தனியாக மதிப்பிடப்பட்ட பத்து பொருட்கள் எந்த அங்காரம் வாசிக்க முடியவில்லை என்பதை கூறுகின்றன, இரண்டாவது சுற்று அதை மறுபடியும் எழுதுவதால் மாற்றம் ஏற்பட்டதா என்பதை தெரிவிக்கிறது.

Try a changed situation இரு சுகாதார பணியாளர்கள் ஒரே காலை அதே இருபது குழந்தைகளின் எடையை அளக்கின்றனர், அவர்களின் அறிக்கைகள் வேறுபடுகின்றன. நீங்கள் மேலே என்ன அறிக்கை அளிப்பீர்கள்?

Make something yourself ஒரு சுற்றை நடத்துங்கள். அதே பத்து பொருட்களை இரண்டு அல்லது அதற்கு மேற்பட்ட நபர்களுக்கு அனுப்பி, தனித்தனியாக மதிப்பிடப்பட்ட மதிப்புகளை சேகரிக்கவும். குறிப்பு எழுதுங்கள்: பரவல், நீங்கள் மறுபடியும் எழுதிய அங்காரம், மற்றும் தேதி.

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)