अन्यैः सह समीक्षार्दं सञ्चालय

What this lesson is about

त्रिभ्यः समीक्षकैः समानीनाम् अपि विषयान् दत्त्वा, यत्र ते भिन्नाः स्युः तत्र तुलना कुर्वीत, च व्यक्तीनां न तु निर्देशं संशोधयेत्।

पञ्च प्रकरणानि प्रेषितानि। अन्तिमे द्वौ जनौ सन्देशं भयङ्करं इति उक्तवन्तौ, एकः च हास्यं इति उक्तवान्। अधुना किं कुर्मः?

Why this matters

परिक्षणस्य उद्देश्यं दुष्टं समीक्षकं ग्रहीतुं नास्ति। एका प्रकाशितसुरक्षाप्रयोगे त्रयः समीक्षकाः तान्येव पञ्चशतं प्रकरणानि परीक्ष्यन्ते। लेखकं च समाविष्ट्य चत्वारः सहमतिः संयोगं परित्यक्त्वा 0.32 आसीत्। यदि मूल्याङ्कनं केवलं 'आम्' अथवा 'न' इति कृते तदा सा 0.49 अभवत्। लेखकाः दोषं जनानां न, स्वकार्यस्य शब्दरचनायै दत्तवन्तः।

समानीनाम् विषयानाम् अर्दं सञ्चालय, यत्र समीक्षकाः भिन्नाः स्युः तत्र अन्वेष्टव्यं, च तं निर्देशं पुनर्लिख यः तान् भेदयति।

त्रिभ्यः समीक्षकैः समानीनाम् विषयान् दत्त्वा, तेषां भेदं परीक्ष्य।
यदा जनाः असहमताः स्युः, समीक्षकं दोषयितुं पूर्वं निर्देशं परिवर्तय।
अर्दस्य परिणामं सर्वेभ्यः यैः भागः कृतः तैः प्रकाशय, स्वदोषं च सहितम्।

Task

पञ्च सुरक्षा-विषयानि त्रिभ्यः समीक्षकैः प्रदत्तानि। चत्वारः समाना अभवन्। पञ्चमे विषयि द्वौ सन्देशं धमकितुम् उक्तवन्तौ, एकः हास्यं इति।

Weak approach यो द्वयोः सहमतयोः सह गच्छति तृतीयं च पुनः पश्यतु यावत् सः सहमतः न भवति। एषः चक्रः निर्णयं जनयति, यः वाक्यः तान् विभजति सः मार्गदर्शिकायाम् अपरिवर्तितः अस्ति।

Stronger approach उभयोरपि मतौ लिखति, नियमः धमकिः कः इति न निर्दिशति इति दर्शयति, तं वाक्यं पुनर्लिखति, च परिणामं त्रिभ्यः प्रेषयति।

Why the stronger approach works भिन्नता एव निष्कर्षः आसीत्, च दृढः मार्गः तस्मिन् कर्म करोति। मतदानं तं छुपयति, च पुनः सप्ताहे तादृशा विवादः पुनरागच्छति।

Try a changed situation तव मार्गे द्वौ विक्रयकौ समं नगरपालिका-सूचनां विपरीत-रूपेण पठन्ति। कः नियमः अद्यापि प्रवर्तते?

Make something yourself अन्ययोः द्वयोः सह पञ्च समानीनाम् विषयानाम् अर्दं सञ्चालय। लिख यः किं निर्णीतवान्, यत्र भेदः आसीत्, च यः निर्देशवाक्यः पुनर्लिखितः।

Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)