All learning paths Learn See Try Make ٻين سان گڏ جائزو وٺڻ جو دور هلائڻ What this lesson is about ٽن جائزو وٺندڙن کي ساڳيا ڪيس ڏيو، جتي اهي ورهائجن ٿا ڏسو، ۽ ماڻهن جي بدران هدايت کي درست ڪريو.
پنج ڪيس موڪليا ويا. آخري تي، ٻه ماڻهن پيغام کي ڌمڪي چيو ۽ هڪ ان کي مذاق. هاڻي ڇا؟
A ٽن جائزو وٺندڙن کي ساڳيا ڪيس ڏيو، پوءِ ڏسو جتي اهي ورهائجن ٿا. B ٻن سان گڏ وڃو جيڪي متفق هئا، ۽ ٽئين کي ٻيهر ڏسڻ لاءِ چوندا. C ساڳيو پيغام ٻه وڌيڪ ماڻهن کي موڪليو ۽ ڏسو ته ڇا اهي متفق آهن.
Check my recall Why this matters هڪ رائونڊ جو مقصد خراب جائچ ڪندڙ کي پڪڙڻ ناهي. هڪ شايع ٿيل حفاظتي مطالعي ۾ ٽي جائچ ڪندڙن ساڳيا پنج سئو ڪيس ڏٺا. ليکڪ سميت، چوڪن جي وچ ۾ اتفاق 0.32 هو جڏهن اتفاق جو حصو ڪڍي ڇڏيو ويو. جڏهن ريٽنگ کي صرف ها يا نه تائين محدود ڪيو ويو، ته اها 0.49 ٿي وئي. ليکڪن پنهنجو الزام ماڻهن تي نه، پر پنهنجي ڪم جي لفظن تي رکيو.
گڏيل ڪيسن تي هڪ دور هلائڻ، جائزو وٺندڙن جي ورهاڱي کي ڳولڻ، ۽ هدايت کي ٻيهر لکڻ جيڪا انهن کي ورهايو.
هڪ رائونڊ جو مقصد خراب جائچ ڪندڙ کي پڪڙڻ ناهي. هڪ شايع ٿيل حفاظتي مطالعي ۾ ٽي جائچ ڪندڙن ساڳيا پنج سئو ڪيس ڏٺا. ليکڪ سميت، چوڪن جي وچ ۾ اتفاق 0.32 هو جڏهن اتفاق جو حصو ڪڍي ڇڏيو ويو. جڏهن ريٽنگ کي صرف ها يا نه تائين محدود ڪيو ويو، ته اها 0.49 ٿي وئي. ليکڪن پنهنجو الزام ماڻهن تي نه، پر پنهنجي ڪم جي لفظن تي رکيو.
ٽن جائزو وٺندڙن کي ساڳيا ڪيس ڏيو، پوءِ ڏسو جتي اهي ورهائجن ٿا. جڏهن ماڻهو اختلاف ڪن، جائزو وٺندڙ کي الزام ڏيڻ کان اڳ هدايت تبديل ڪريو. دور جو نتيجو سڀني کي ٻڌايو جيڪي حصو ورتو، جنهن ۾ توهان جون غلطيون به شامل هجن. Task پنج حفاظتي ڪيس ٽن جائزو وٺندڙن ڏنا ويا. چار هڪجهڙا هئا. پنجين تي ٻه پيغام کي ڌمڪي ۽ هڪ مذاق چيو.
Weak approach ٻن ماڻهن سان گڏ هلندو آهي جيڪي متفق هئا ۽ ٽئين کي چوندو آهي ته ٻيهر ڏسڻ تائين متفق نه ٿئي. هن رائونڊ مان فيصلو نڪتو، ۽ جيڪو جملو انهن کي ورهايو هو اهو هدايت ۾ ائين جو ائين رهي ٿو.
Stronger approach ٻنهي پڙهڻ لکي ٿو، ڏيکاري ٿو قانون ڪٿي به نه ٿو چوي ته ڌمڪي ڇا آهي، اهو جملو ٻيهر لکي ٿو، ۽ نتيجو ٽنهي کي موڪلي ٿو.
Why the stronger approach works ورهاڱو ئي اصل نتيجو هو، ۽ مضبوط رستو ان تي عمل ڪري ٿو. ووٽنگ ان کي لڪائي ٿي، ۽ ساڳي بحث ايندڙ هفتي واپس ايندي.
Try a changed situation توهان جي گهٽي جا ٻه دڪاندار هڪ ئي ميونسپل نوٽيس کي الڳ الڳ پڙهي رهيا آهن. ڪهڙو قانون اڃا لاڳو آهي؟
Make something yourself ٻن ٻين ماڻهن سان گڏ پنج گڏيل ڪيسن تي هڪ دور هلائڻ. لکو ڪنهن ڇا فيصلو ڪيو، ڪهڙي ڪيس تي ورهاڱو ٿيو، ۽ هدايت جو ڪهڙو جملو توهان ٻيهر لکيو.
Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)