परीक्षणचक्रं सञ्चालयित्वा मापकं पुनः स्थापयतु

What this lesson is about

समूहाय तानि दश वस्तूनि समानी दत्त्वा तेषां चिह्नानां दूरीं मापयतु। ततः यः लङ्कारः तान् विभक्तवान् सः पुनः लिखतु।

तव समूहस्य चत्वारः जनाः भिन्नानि समूहानि समर्पयन्ति, ग्राहकः अपि तद् उक्तवान्। कथं चक्रं आरभ्यसे?

Why this matters

द्वौ सावधानौ जनौ समानं वस्तु मूल्ययतः अपेक्षातः अधिकं भिन्नतां दर्शयतः। प्रकाशिते सुरक्षा परियोजने चत्वारः परीक्षकाः समानेषु मामलासु मूल्यितवन्तः। संयोगांशः विमुक्तः तेषां सहमति 0.32 आसीत्। द्वि-स्तरीयं मूल्यांकनं कृत्वा सा 0.49 अभवत्। एषः सङ्ख्या लिखितं मापकं सूचयति, च द्वितीयचक्रे केवलं तेन तुलनीयम्।

समूहेन सह तैः समानैः वस्तुभिः चक्रं सञ्चालयतु। चिह्नानां दूरीं मापयतु, च तं लङ्कारं पुनः लिखतु यः तान् विभक्तवान्।

सर्वेभ्यः समानानि दश वस्तूनि प्रेषयतु, यः कश्चिदपि स्वयमेव तानि अंकयतु, पूर्वं न कोऽपि टिप्पणीं तुलयतु।
संयोगेनैव उत्पादितां सहमतिं विमोच्य यत् शेषं तद् प्रतिवेदयतु।
समूहः यः लङ्कारं विभक्तवान् सः पुनः लिखतु, ततः पुनः समानानि दश वस्तूनि प्रेषयतु।

Task

लघु समूहस्य चत्वारः परीक्षकाः पञ्च-स्तरीयमापके प्रत्युत्तराणि मूल्ययन्ति। तेषां ग्राहकः उक्तवान् यत् चत्वारः समूहाः एकस्मिन्नेव समूहं न प्रतितिष्ठन्ति।

Weak approach चत्वारः सह समागत्य दश प्रत्युत्तराणि पठित्वा यः स्तरः कक्ष्या: स्वीकृतः तं लिखति। सर्वे सहमताः उत्तिष्ठन्ति, परं आगामिनः सप्ताहस्य समूहाः पूर्ववत् एव भिन्नाः।

Stronger approach समानानि दश वस्तूनि चत्वारः स्वयमेव प्रेषयति, यः कश्चिदपि स्वयमेव अंकयतु। द्वे वस्तु द्वयोः स्तरयोः सर्वे स्तराः प्राप्तवन्तः, न्यूनतमात् उच्चतमं पर्यन्तम्। उभे मध्यरेखायां 'मध्यम् अनुकूलं' च 'अत्युत्तमं अनुकूलं' स्थिताः। तं लङ्कारं पुनः लिखित्वा दश वस्तूनि पुनः प्रेषयति। तयोः द्वयोः वस्तूनः प्रसरणं एकस्मिन् स्तरं संकुचितम्।

Why the stronger approach works कोऽपि पूर्वमेव उक्तवान् अतः कक्ष्यां सहमति जाताः। स्वयमेव अंकितानि दश वस्तूनि सूचयन्ति यः लङ्कारः अवाच्यः आसीत्, द्वितीयचक्रः च सूचयति पुनर्लेखनं कार्यं कृतवान् वा न।

Try a changed situation द्वौ स्वास्थ्यकर्मणः तस्मिन् प्रातःकाले समानं विंशतिः बालानां भारं मापयतः, तेषां प्रतिवेदनानि भिन्नानि। किं प्रतिवेदयसि?

Make something yourself एकं चक्रं सञ्चालयतु। समानानि दश वस्तूनि द्वयोः वा अधिकयोः जनानां प्रेषयित्वा स्वयमेव अंकितानि सङ्गृह्यतु। टिप्पणी लिखतु: प्राप्तः प्रसरणः, पुनः लिखितः लङ्कारः, च तिथिः।

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)