دوسروں کے ساتھ جائزے کا دور چلائیں

What this lesson is about

تین جائزہ لینے والوں کو ایک جیسے کیس دیں، دیکھیں وہ کہاں اختلاف کرتے ہیں، اور لوگوں کی بجائے ہدایت کو درست کریں۔

پانچ کیسز بھیجے گئے۔ آخری پر دو لوگوں نے پیغام کو دھمکی کہا اور ایک نے مذاق۔ اب کیا؟

Why this matters

ایک راؤنڈ کا مقصد کسی خراب جائزہ لینے والے کو پکڑنا نہیں ہوتا۔ ایک شائع شدہ حفاظتی مطالعے میں، تین جائزہ لینے والوں نے ایک ہی پانچ سو کیسز کا جائزہ لیا۔ مصنف سمیت چاروں کے درمیان اتفاق رائے، جب موقع کی گنجائش نکال دی گئی، تو 0.32 تھا۔ جب درجہ بندی کو صرف ہاں یا نہ تک محدود کیا گیا، تو یہ 0.49 تک بڑھ گیا۔ مصنفین نے ذمہ داری اپنے کام کی الفاظ پر ڈالی، لوگوں پر نہیں۔

مشترکہ کیسز پر ایک دور چلائیں، دیکھیں جائزہ لینے والے کہاں اختلاف کرتے ہیں، اور وہی ہدایت دوبارہ لکھیں جس نے انہیں تقسیم کیا۔

تین جائزہ لینے والوں کو ایک جیسے کیسز دیں، پھر دیکھیں وہ کہاں اختلاف کرتے ہیں۔
جب لوگ اختلاف کریں، تو جائزہ لینے والے کو الزام دینے سے پہلے ہدایت بدلیں۔
دور کے نتائج ان سب کو بتائیں جو اس میں شامل تھے، اپنی غلطی سمیت۔

Task

پانچ حفاظتی کیسز تین جائزہ لینے والوں کو دیے گئے۔ چار میں اتفاق ہوا۔ پانچویں میں دو نے پیغام کو دھمکی کہا اور ایک نے مذاق۔

Weak approach وہ دو لوگوں کے ساتھ چلتا ہے جو متفق تھے اور تیسرے سے کہتا ہے کہ دوبارہ دیکھو جب تک وہ متفق نہ ہو جائے۔ اس دور سے ایک فیصلہ نکلتا ہے، اور وہ جملہ جو انہیں تقسیم کرتا ہے، رہنما اصول میں ویسا ہی رہتا ہے۔

Stronger approach دونوں تشریحات لکھتا ہے، دکھاتا ہے کہ اصول کہیں نہیں بتاتا کہ دھمکی کیا ہے، وہ جملہ دوبارہ لکھتا ہے، اور نتیجہ تینوں کو بھیج دیتا ہے۔

Why the stronger approach works اختلاف ہی اصل نتیجہ تھا، اور مضبوط طریقہ اسی پر کام کرتا ہے۔ ووٹنگ اسے چھپا دیتی ہے، اور اگلے ہفتے وہی بحث واپس آتی ہے۔

Try a changed situation آپ کی گلی کے دو دکاندار ایک ہی میونسپل نوٹس کو مختلف طریقے سے پڑھ رہے ہیں۔ کون سا اصول اب بھی لاگو ہے؟

Make something yourself دو اور لوگوں کے ساتھ پانچ مشترکہ کیسز پر ایک دور چلائیں۔ لکھیں کس نے کیا فیصلہ کیا، کس کیس پر اختلاف ہوا، اور بعد میں آپ نے ہدایت کا کون سا جملہ دوبارہ لکھا۔

Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)