رکھے گئے سیٹ کو الگ ہی رکھیں

What this lesson is about

جب معلوم ہو کہ ٹیسٹ کا نتیجہ پہلے ہی نظام کی اصلاح کے لیے استعمال ہو چکا ہے تو اسے پہچانیں۔ پھر ایمانداری سے رکھے گئے سیٹ کو دوبارہ بنائیں۔

آپ کی ٹیم نے پچاس سوالات الگ رکھے تھے۔ آپ نے بارہ سوالات پڑھے جو ناکام ہوئے اور ہدایات بدل دیں۔ آپ کون سا اسکور رپورٹ کریں گے؟

Why this matters

رکھا گیا سیٹ — وہ سوالات جن پر نظام کبھی بنایا نہیں گیا — جلد ختم ہو جاتا ہے۔ یہ اس وقت ختم ہو جاتا ہے جب کوئی اس کی ناکامیاں پڑھ کر نظام میں تبدیلی کرتا ہے۔

بتائیں کہ کون سے جائزہ کے آئٹمز اب بھی ثبوت رکھتے ہیں، اور جب سیٹ اصلاح میں استعمال ہو جائے تو اسے دوبارہ بنائیں۔

جو آئٹم نظام کی اصلاح کے لیے استعمال ہو چکا ہو، وہ اس کے بارے میں ثبوت نہیں رہتا۔
ریکارڈ رکھیں کہ ہر آئٹم کب اور کس کام کے لیے استعمال ہوا۔
اگلی بار سے پہلے رکھے گئے سیٹ کو دوبارہ بھریں؛ اسے دوبارہ استعمال نہ کریں۔

Task

پچاس رکھے گئے سوالات۔ بارہ ناکامیاں پڑھی گئیں اور ہدایات بدل کر اصلاح کی گئی۔

Weak approach چیک کرتا ہے کہ پچاس سوالوں میں سے کسی کو بھی ایڈٹ نہیں کیا گیا، اور واقعی کسی کو نہیں کیا گیا۔ تمام پچاس کا اسکور دیتا ہے اور پھر بھی سیٹ کو ہولڈ آؤٹ کہتا ہے۔ ان میں سے بارہ سوال ایسے تھے جنہیں ہدایات بدلتے وقت پڑھا گیا، اس لیے اب وہ بارہ سوال اسی اصلاح کو ناپ رہے ہیں۔

Stronger approach بغیر چھوئے بچے ہوئے تیس اور آٹھ سوالات کو رکھے گئے اسکور کے طور پر رپورٹ کرتا ہے۔ بارہ کو اصلاح کے لیے استعمال شدہ کہتا ہے، اور نئے سوالات جمع کرتا ہے۔

Why the stronger approach works ایماندار نمبر چھوٹا ہے اور معنی رکھتا ہے۔ بڑا نمبر ٹیم کی اپنی اصلاحات کو ماپتا ہے۔

Try a changed situation اب ایک اسکول ماڈل نہیں بلکہ نئے تدریسی طریقے کا جائزہ لے رہا ہے۔ کون سا اصول اب بھی لاگو ہوتا ہے؟

Make something yourself کوئی بھی چیک لیں جو آپ بار بار کرتے ہیں، جیسے ماک ٹیسٹ یا ماہانہ رپورٹ کا جائزہ۔ لکھیں کہ آپ نے کون سے آئٹمز پہلے ہی اصلاح کے لیے استعمال کیے ہیں۔ پھر لکھیں کہ آپ صاف سیٹ کیسے جمع کریں گے۔

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)