چيڪ رائونڊ هلائڻ ۽ اسڪيل ٻيهر ترتيب ڏيڻ

What this lesson is about

ٽيم کي ساڳيا ڏهه شيون ڏيو ۽ ماپيو ته انهن جا نشان ڪيترا فاصلي تي پيا آهن. پوءِ اهو هڪ اينڪر ٻيهر لکو جنهن انهن کي ورهايو.

توهان جي ٽيم جا چار ماڻهو بيچ جمع ڪرائن ٿا جيڪي هڪجهڙا ناهن، ۽ ڪلائنٽ به ائين چيو آهي. رائونڊ ڪيئن شروع ڪندا؟

Why this matters

ٻه ڌيان سان ڪم ڪندڙ ماڻهو ساڳي شيءِ کي پرکڻ دوران توقع کان وڌيڪ مختلف ٿين ٿا. هڪ شايع ٿيل حفاظتي منصوبي ۾ چار جائزا ڏيندڙن کي ساڳين ڪيسن تي ماپيو ويو. اتفاق جو انگ 0.32 هو جڏهن اتفاق جو حصو ڪڍيو ويو. جڏهن درجه بندي ٻن سطحن تائين محدود ڪئي وئي ته اهو 0.49 ٿي ويو. اهو انگ لکيل اسڪيل بابت آهي، ۽ اهو ئي واحد شيءِ آهي جنهن سان ٻئي رائونڊ جي مقابلي ڪري سگهجي ٿو.

ٽيم سان ساڳين شين تي رائونڊ هلائڻ. ماپيو ته نشان ڪيتري پري پيا آهن، ۽ اهو اينڪر ٻيهر لکو جنهن انهن کي ورهايو.

هر ڪنهن کي ساڳيا ڏهه سوال موڪليو، هر ڪو الڳ نشان لڳائي، ۽ پوءِ ڪو به نوٽس موازنہ نه ڪري.
اتفاق جو اهو انگ ڪڍو جيڪو صرف اتفاق سان پيدا ٿيو، پوءِ جيڪو بچي ٿو اهو رپورٽ ڪريو.
جن اينڪرن تي ٽيم ورهائي وئي آهي، انهن کي ٻيهر لکو، پوءِ ساڳيا ڏهه شيون ٻيهر موڪليو.

Task

هڪ ننڍڙي ٽيم جا چار جائزا ڏيندڙ پنج سطحن جي اسڪيل تي جوابن کي پرکين ٿا. انهن جو ڪلائنٽ چوي ٿو ته چارن جا بيچ هڪ جهڙا ناهن.

Weak approach چارهي گڏ ڪري، ڏهه جواب پڙهي، ۽ جنهن سطح تي سڀ متفق ٿين، اهو چونڊي ٿو. سڀ متفق ٿي وڃن ٿا، پر ايندڙ هفتي جا بيچ اڳ وانگر ئي مختلف رهندا آهن.

Stronger approach ساڳيا ڏهه سوال چارهي کي الڳ الڳ موڪليا وڃن ٿا، هر ڪو الڳ نشان لڳائي ٿو. ٻه شيون سڀني سطحن تي نشان لڳل آهن، سڀ کان گهٽ کان سڀ کان وڌيڪ. اهي ٻنهي ‘مناسب حد تائين’ ۽ ‘تمام گهڻو’ جي وچ واري لائن تي آهن. اهو اينڪر ٻيهر لکي ٿو ۽ ڏهه سوال ٻيهر موڪلي ٿو. انهن ٻن شين جو ورڇ هڪ سطح تائين گهٽجي وڃي ٿو.

Why the stronger approach works ڪمري ۾ اتفاق ان ڪري ٿئي ٿو جو ڪو پهريون ڳالهائي ٿو. ڏهه الڳ الڳ نشان ٻڌائن ٿا ته ڪهڙو اينڪر پڙهڻ لائق نه هو، ۽ ٻيو رائونڊ ٻڌائي ٿو ته ٻيهر لکڻ سان فرق پيو يا نه.

Try a changed situation ٻه صحت ورڪر هڪ ئي صبح ۾ ساڳيا ويهه ٻارن جو وزن ماپين ٿا، ۽ انهن جون رپورٽون مختلف آهن. توهان مٿان ڇا رپورٽ ڪندا؟

Make something yourself هڪ رائونڊ هلائو. ساڳيا ڏهه شيون ٻه يا وڌيڪ ماڻهن کي موڪليو، ۽ الڳ الڳ لڳايل نشان گڏ ڪريو. نوٽ لکو: ورڇ، ٻيهر لکيل اينڪر، ۽ تاريخ.

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)