ఇతరులతో సమీక్ష రౌండ్ నిర్వహించండి

What this lesson is about

మూడు సమీక్షకులకు ఒకే కేసులను ఇవ్వండి, వారు ఎక్కడ విభజించారో పోల్చండి, మరియు వ్యక్తుల బదులు సూచనను సరిచేయండి.

ఐదు కేసులు పంపించారు. చివరిదానికొద్దీ ఇద్దరు ఒక సందేశాన్ని బెదిరింపు అని, ఒకరు జోక్ అని పిలిచారు. ఇప్పుడు ఏమవుతుంది?

Why this matters

ఒక రౌండ్ అంటే చెడు సమీక్షకుని పట్టుకోవడం కాదు. ఒక ప్రచురిత సేఫ్టీ అధ్యయనంలో, మూడు సమీక్షకులు అదే ఐదు వంద కేసులను పరిశీలించారు. రచయిత సహా నాలుగు సమీక్షకుల అంగీకారం, అవకాశాన్ని తీసివేసిన తర్వాత 0.32గా ఉంది. రేటింగ్‌ను కేవలం అవును లేదా కాదు గా తగ్గించినప్పుడు అది 0.49కి పెరిగింది. రచయితలు తప్పును వారి పని పదజాలంలోనే చూసారు, వ్యక్తులపై కాదు.

పంచుకున్న కేసులపై రౌండ్ నిర్వహించండి, సమీక్షకులు ఎక్కడ విభజించారో కనుగొనండి, మరియు వారిని విభజించిన సూచనను మళ్లీ రాయండి.

మూడు సమీక్షకులకు ఒకే కేసులను ఇవ్వండి, వారు ఎక్కడ విభజించారో పోల్చండి.
మనం విభేదించినప్పుడు, సమీక్షకునిపై తప్పు చెప్పక ముందే సూచనను మార్చండి.
రౌండ్ ఫలితాన్ని అందరూ చూసిన వారికి ప్రచురించండి, మీరు చేసిన తప్పుల సహా.

Task

ఐదు సేఫ్టీ కేసులు మూడు సమీక్షకులకు ఇచ్చారు. నాలుగు సరిపోయాయి. ఐదవదానిపై ఇద్దరు సందేశాన్ని బెదిరింపు అని పిలిచారు, ఒకరు జోక్ అని పిలిచారు.

Weak approach రెండు అంగీకరించిన వారితో కలిసి మూడవవారిని మళ్లీ చూడమని అడుగుతుంది, వారు అంగీకరించే వరకు. ఈ రౌండ్ ఒక నిర్ణయం తీసుకుంది, మరియు వారిని విడగొట్టిన వాక్యం మారకుండా మార్గదర్శకంలో ఉంటుంది.

Stronger approach రెండు అభిప్రాయాలను రాసి చూపిస్తుంది, నియమం ఎక్కడా బెదిరింపు అంటే ఏమిటి చెప్పదని చూపిస్తుంది. ఆ వాక్యాన్ని మళ్లీ రాస్తుంది, ఫలితాన్ని ముగ్గురికి పంపిస్తుంది.

Why the stronger approach works విభజనే నిజమైన కనుగొనడం, బలమైన మార్గం దానిపై పని చేస్తుంది. ఓటు వేయడం దాన్ని దాచిపెడుతుంది, మరియు అదే వాదన వచ్చే వారం తిరిగి వస్తుంది.

Try a changed situation మీ వీధిలోని రెండు దుకాణదారులు ఒకే మునిసిపల్ నోటీసును విరుద్ధంగా చదువుతున్నారు. ఏ నియమం ఇంకా వర్తిస్తుంది?

Make something yourself మరొక ఇద్దరు వ్యక్తులతో ఐదు పంచుకున్న కేసులపై రౌండ్ నిర్వహించండి. ఎవరు ఏమి నిర్ణయించారో, వారు ఎక్కడ విభజించారో, మరియు మీరు తర్వాత మళ్లీ రాసిన సూచన వాక్యాన్ని నమోదు చేయండి.

Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)