একটি চেক রাউন্ড চালান এবং স্কেল রিসেট করুন

What this lesson is about

একই দশটি আইটেম একটি টিমকে দিন এবং তাদের মার্ক কতটা দূরে পড়েছে তা মাপুন। তারপর সেই এক অ্যাঙ্করটি পুনরায় লিখুন যা তাদের বিভক্ত করেছিল।

আপনার টিমের চারজনের ব্যাচ একসাথে পড়ে না, এবং ক্লায়েন্ট সেটি বলেছে। আপনি কীভাবে রাউন্ড শুরু করবেন?

Why this matters

একই জিনিস মূল্যায়ন করা দুইজন যত্নশীল ব্যক্তি প্রত্যাশার চেয়ে বেশি ভিন্ন হতে পারে। একটি প্রকাশিত নিরাপত্তা প্রকল্পে চারজন রেটার একই কেসে পরিমাপ করা হয়েছিল। সুযোগ বাদ দিলে তাদের চুক্তি 0.32 ছিল। যখন রেটিং দুই স্তরে কমানো হয়, তখন তা 0.49 এ উঠে যায়। এই সংখ্যা লিখিত স্কেলের জন্য এবং এটি একমাত্র যা দ্বিতীয় রাউন্ডের সাথে তুলনা করা যায়।

একই আইটেম নিয়ে একটি রাউন্ড চালান টিমের সাথে। মার্ক কতটা দূরে পড়েছে তা মাপুন এবং যে অ্যাঙ্করটি তাদের বিভক্ত করেছিল তা পুনরায় লিখুন।

সবার কাছে একই দশটি আইটেম পাঠান, সবাই একা একা মার্ক করুক, তারপর কেউ নোট তুলনা করবে।
সুযোগ থেকে তৈরি চুক্তি বাদ দিন, তারপর যা থাকে তা রিপোর্ট করুন।
যে অ্যাঙ্করটি টিম বিভক্ত করেছিল তা পুনরায় লিখুন, তারপর একই দশটি আবার পাঠান।

Task

একটি ছোট টিমের চারজন রিভিউয়ার পাঁচ স্তরের স্কেলে উত্তর মূল্যায়ন করেন। তাদের ক্লায়েন্ট বলে চারটি ব্যাচ একসাথে পড়ে না।

Weak approach চারজনকে একসাথে ডেকে দশটি উত্তর পড়ে নেন এবং যেই স্তরে সবাই রাজি হয় সেটাই নোট করেন। সবাই একমত হয়ে চলে যায়, এবং পরের সপ্তাহের ব্যাচগুলো আগের মতোই দূরে থাকে।

Stronger approach একই দশটি চারজনের প্রত্যেককে আলাদা আলাদা পাঠানো হয়, সবাই একা একা মার্ক করে। দুইটি আইটেম এমন যা সর্বনিম্ন থেকে সর্বোচ্চ স্তর পর্যন্ত মার্ক পেয়েছে। দুটোই ‘মডারেটলি মিটস’ এবং ‘হাইলি মিটস’ এর মধ্যে রেখায় আছে। সেই এক অ্যাঙ্কর পুনরায় লিখে আবার দশটি পাঠানো হয়। ওই দুই আইটেমের বিস্তার এক স্তরে সঙ্কুচিত হয়।

Why the stronger approach works কেউ আগে কথা বলায় রুমে একমত হয়। একা একা মার্ক করা দশটি আইটেম বলে দেয় কোন অ্যাঙ্কর পড়া যাচ্ছিল না, আর দ্বিতীয় রাউন্ড বলে দেয় পুনরায় লেখা কাজ করেছে কিনা।

Try a changed situation দুই স্বাস্থ্যকর্মী একই সকালে একই বিশটি শিশুর ওজন মাপেন, এবং তাদের রিপোর্ট ভিন্ন। আপনি উপরে কী রিপোর্ট করবেন?

Make something yourself একটি রাউন্ড চালান। একই দশটি আইটেম দুই বা ততোধিক ব্যক্তিকে পাঠান, এবং একা একা মার্ক করা মার্ক সংগ্রহ করুন। নোট লিখুন: বিস্তার, আপনি যে অ্যাঙ্কর পুনরায় লিখেছেন, এবং তারিখ।

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)