چُھُٹ پَٹ راؤنڈ چلاؤ تہ پیمانہ ری سیٹ کرو

What this lesson is about

ٹیم کو وہی دس اشیاء دو تہ ناپو کہ اُنہند نشان کتھ کتھ پَٹ ہند۔ پھِر اوہ لنگر دُبارہ لکھو ژیہہ اُنہند بچھوڑ چھُٹ پَٹ کیتھ۔

تُہند ٹیم کے چار لوگوں کے بیچ ایک جیسے نہیں لگتے، اور کلائنٹ نے کہا ہے۔ راؤنڈ کیسے شروع کرو گے؟

Why this matters

دو دھیان سے کم کرن والے اوہی چیز پرکھتے ہوئے توقع سے زیادہ مختلف نکلتے۔ ایک شائع شدہ حفاظتی منصوبہ میں چار جائچ کرن والے اوہی کیسز پر ناپے گئے۔ اتفاق موقع سے کٹانے کے بعد 0.32 نکلا۔ جب درجہ بندی دو درجوں تک کم کی گئی تو 0.49 ہو گیا۔ یہ عدد تحریری پیمانے کے بارے میں ہے، اور یہی واحد چیز ہے جس سے دوسرا راؤنڈ موازنہ کیا جا سکتا۔

ٹیم کے ساتھ اوہی اشیاء پر راؤنڈ چلاؤ۔ ناپو کہ نشان کتھ کتھ پَٹ ہند، تہ اوہ لنگر دُبارہ لکھو ژیہہ اُنہند بچھوڑ چھُٹ پَٹ کیتھ۔

سب کو اوہی دس اشیاء بھیجو، ہر کوئی اکیلے نشان لگائے، اور تب تک کوئی بات نہ کرے۔
اتفاق جو حصہ جو صرف موقع سے بنتا، اسے نکالو، پھر جو بچا وہ رپورٹ کرو۔
جس لنگر پر ٹیم بچھڑی، اسے دُبارہ لکھو، پھر اوہی دس اشیاء دوبارہ بھیجو۔

Task

چھوٹی ٹیم کے چار جائچ کرن والے پانچ درجوں کے پیمانے پر جواب پرکھتے۔ اُنہند کلائنٹ کہتا کہ چاروں بیچ ایک جیسے نہیں لگتے۔

Weak approach چاروں کو ساتھ بٹھا کر دس جواب پڑھتا، اور جس درجے پر سب راضی ہوں، وہی لکھ لیتا۔ سب متفق ہو کر اٹھتے، اور اگلے ہفتے کے بیچ پہلے جتنے ہی مختلف رہتے۔

Stronger approach اوہی دس اشیاء چاروں کو الگ الگ بھیجتا، ہر کوئی اکیلے نشان لگاتا۔ دو اشیاء ایسی آتیں جن پر سب درجے آ گئے، سب سے تھلے سے سب سے اوپر تک۔ دونوں ‘کچھ حد تک پورا’ اور ‘بہت حد تک پورا’ کی لائن پر تھیں۔ اوہ لنگر دُبارہ لکھتا اور دس اشیاء دوبارہ بھیجتا۔ اُن دو اشیاء کا پھیلاؤ ایک درجے تک سکڑ جاتا۔

Why the stronger approach works کمرے میں اتفاق اس لیے ہوتا کہ کوئی پہلے بول دیتا۔ اکیلے لگائے گئے دس نشان بتاتے کہ کون سا لنگر پڑھا نہیں جا رہا تھا، اور دوسرا راؤنڈ بتاتا کہ دُبارہ لکھنے سے فرق آیا یا نہیں۔

Try a changed situation دو صحت کارکن ایک ہی صبح بیس بچوں کا وزن لیتے ہیں، اور ان کی رپورٹیں مختلف ہیں۔ اوپر کیا رپورٹ کرو گے؟

Make something yourself ایک راؤنڈ چلاؤ۔ اوہی دس اشیاء دو یا زیادہ لوگوں کو بھیجو، اور اکیلے لگائے گئے نشان جمع کرو۔ پھر نوٹ لکھو: کتنا پھیلاؤ ملا، کون سا لنگر دُبارہ لکھا، اور تاریخ کیا تھی۔

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)