दोषानां तेषां हान्याः क्रमं कुरुत

What this lesson is about

दोषान् तेषां शक्यं हान्याः क्रमे स्थापयतु, च तेन क्रमे असहमतं व्यक्तिं रक्षतु।

तव स्वास्थ्य-बोटः असभ्यः वक्ता अस्ति, बस् समयं च मिथ्या वदति, एकवारं गर्भिण्यै लोह-गोलीत्यागं निर्देशितवान्। प्रथमं किं सम्यक् कुर्यात्?

Why this matters

एकस्मिन प्रकाशितसुरक्षा-अध्ययने परीक्षकाः प्रत्येकं आक्रमणं विंशत्याः विषयानां सूचीतः द्वे विषये चिन्हितवन्तः। सा सूची पूर्वप्रकाशितकार्येभ्यः, उद्योगनियमभ्यः, च शताधिकं दूषितसंवादानां हस्तपठनेन प्राप्ता। यत् मामलम् गंभीरं जातम् तस्य संभावितहानिः आसीत्, न तस्य विचित्रदर्शनम्।

दोषान् तेषां शक्यं हान्याः क्रमे स्थापयतु, न तु तेषां आवृत्त्या।
प्रत्येकस्य स्थानस्य समीपे कारणं लिखतु, यतः क्रमः असहमतेः अपि स्थिरः भवति।
याः दोषाः स्थानं न निश्चितुं शक्नुवन्ति तान् सूचीमध्ये बाध्यं न कुर्वीत, तान् पृथक् निर्दिशतु।

Task

क्षेत्रस्य आरोग्य-बोटः कदाचित् कठोरवाक्यं वदति, कदाचित् बसस्य समयं मिथ्या वदति, एकदा गर्भिण्याः लौह-गोलीत्यागं उक्तवान्।

Weak approach मासस्य शिकायतानां गणना करोति: चत्वारिंशत् रूक्षतायाः विषये, षट् बसस्य मिथ्या समयस्य विषये, एकं तन्त्रिकायाः विषये। रूक्षतां शीर्षे स्थापयति यतः सा स्तम्भः दीर्घतमः अस्ति।

Stronger approach लोहतन्त्रिकायाः पङ्क्तिं शीर्षे स्थापयति, तस्य कारणं तत्रैव लिखति। कश्चन स्त्री तानि गृह्णातुं त्यक्तुं शक्नोति च हानिं प्राप्नोति। रूक्षाः प्रत्युत्तराः अन्ते स्थाप्यन्ते।

Why the stronger approach works बलवान् क्रमः विवाद्यः, यतः प्रत्येकस्य स्थानस्य समीपे कारणं अस्ति। शिकायतानां गणना शीर्षे सर्वाधिकं शोरं दर्शयति, न तु सर्वाधिकं दुष्टं दोषम्।

Try a changed situation भवतः कुटुम्बे विवादः अस्ति यत् किरायायुक्ते गृहे कः मरम्मतः प्रथमं क्रियते। कः नियमः अद्यापि प्रवर्तते?

Make something yourself एकस्मिन् AI उपकरणे दृष्टाः पञ्च दोषाः तेषां शक्यं हान्याः क्रमे लिखतु। प्रत्येकस्य समीपे एकपंक्त्या कारणं लिखतु, च यः दोषः स्थानं न निश्चितवान् तं निर्दिशतु।

Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)