অন্যদের সঙ্গে একটি পর্যালোচনা রাউন্ড চালান

What this lesson is about

তিনজন পর্যালোচককে একই কেস দিন, দেখুন তারা কোথায় মতবিরোধ করছে, এবং মানুষদের বদলে নির্দেশনাটি ঠিক করুন।

পাঁচটা মামলা পাঠানো হলো। শেষটাতে, দুইজন মেসেজটাকে হুমকি বলল আর একজন মজা বলল। এখন কী হবে?

Why this matters

একটি রাউন্ডের উদ্দেশ্য খারাপ রিভিউয়ার ধরাই নয়। একটি প্রকাশিত সেফটি স্টাডিতে, তিনজন রিভিউয়ার একই পাঁচশোটি কেস বিচার করেছিলেন। লেখকসহ চারজনের মধ্যে সম্মতি, যখন সুযোগের সম্ভাবনা বাদ দেওয়া হয়, তখন ০.৩২ ছিল। যখন রেটিংকে শুধু হ্যাঁ বা না করা হয়, তখন এটি বেড়ে ০.৪৯ হয়। লেখকরা দোষ দিয়েছেন তাদের কাজের শব্দচয়নকে, মানুষদের নয়।

শেয়ার করা কেসে একটি রাউন্ড চালান, দেখুন পর্যালোচকরা কোথায় বিভক্ত, এবং সেই নির্দেশনাটি পুনরায় লিখুন যা তাদের বিভক্ত করেছে।

তিনজন পর্যালোচককে একই কেস দিন, তারপর দেখুন তারা কোথায় বিভক্ত হয়।
যখন মানুষ একমত না হয়, তখন পর্যালোচককে দোষ দেওয়ার আগে নির্দেশনাটি পরিবর্তন করুন।
রাউন্ডের ফলাফল সবাইকে জানান যারা অংশ নিয়েছিল, আপনার ভুলসহ।

Task

পাঁচটি সেফটি কেস তিনজন পর্যালোচকের কাছে গিয়েছিল। চারটি মিলেছিল। পঞ্চমটিতে দুইজন মেসেজটিকে হুমকি বলেছিল, একজন মজা মনে করেছিল।

Weak approach যারা দুজন একমত হয়েছিল তাদের সঙ্গে যায় এবং তৃতীয়কে আবার দেখার জন্য বলে যতক্ষণ না সে একমত হয়। এই রাউন্ড থেকে একটি সিদ্ধান্ত আসে, এবং যে বাক্য তাদের বিভক্ত করেছিল তা নির্দেশিকায় অপরিবর্তিত থাকে।

Stronger approach দুইটি ব্যাখ্যা লিখে রাখে, দেখায় যে নিয়মে কোথাও বলা হয়নি কীকে হুমকি বলা হবে, সেই বাক্যটি পুনরায় লিখে তিনজনের সবাইকে ফলাফল পাঠায়।

Why the stronger approach works বিভাজনটাই আসল ফলাফল ছিল, এবং শক্তিশালী পথ সেটার ওপর কাজ করে। ভোটিং এটা ঢেকে রাখে, এবং একই বিতর্ক পরের সপ্তাহে ফিরে আসে।

Try a changed situation আপনার গলির দুই দোকানদার একই পৌর নোটিশকে উল্টোভাবে পড়ছে। কোন নিয়ম এখনো প্রযোজ্য?

Make something yourself আপনার সঙ্গে আরও দুইজনের সাথে পাঁচটি শেয়ার করা কেসে একটি রাউন্ড চালান। লিখে রাখুন কে কী সিদ্ধান্ত নিয়েছে, কোন কেসে তারা বিভক্ত হয়েছে, এবং আপনি কোন নির্দেশনার বাক্যটি পুনরায় লিখেছেন।

Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)