غلط جواب کو ایک ٹیسٹ میں بدلیں

What this lesson is about

ایک غلط جواب لیں اور وہ آئٹم لکھیں جو آج ناکام ہوتا ہے اور مرمت کے بعد کامیاب ہوگا۔

آپ دیکھتے ہیں کہ ہیلپ لائن گورکھپور کا کرایہ غلط بتا رہی ہے۔ آپ کی سرکل کہتی ہے کہ اسے صحیح طریقے سے درج کریں۔

Why this matters

ایک شائع شدہ کوڈ چیک سیٹ اسی طرح بنتا ہے۔ ہر آئٹم کے ساتھ ایک ٹیسٹ ہوتا ہے جو مرمت سے پہلے ناکام ہوتا ہے اور مرمت کے بعد کامیاب۔ اس طرح مرمت ثابت ہوتی ہے، صرف دعویٰ نہیں۔ شکایت ثابت نہیں ہوتی اور نہ ہی ٹھیک کی جا سکتی ہے۔ آئٹم کسی کو بھی دیا جا سکتا ہے۔

ایک غلط جواب کو ایسا ٹیسٹ آئٹم بنائیں جسے کوئی اور چلا کر وہی ناکامی دیکھ سکے۔

ٹیسٹ آئٹم کے لیے بالکل وہی ان پٹ، متوقع آؤٹ پٹ، اور اصل میں دیکھا گیا آؤٹ پٹ چاہیے۔
ان پٹ کو کم کریں جب تک سب سے چھوٹا وہ ان پٹ نہ بچ جائے جو اب بھی ناکام ہو۔
بتائیں کہ آپ کا متوقع آؤٹ پٹ کیوں درست ہے، ورنہ اگلا شخص ماڈل کے بجائے آئٹم پر بحث کرے گا۔

Task

دکان کا اسسٹنٹ 12.3499 واپس دیتا ہے جبکہ بل میں پیسے تک رقم ہونی چاہیے۔ اسے ایک ٹیسٹ آئٹم بنائیں۔

Weak approach ایک نوٹ فائل کرتا ہے کہ اسسٹنٹ پیسوں میں کمزور ہے اور پیسے غلط دیتا ہے۔ چیٹ کی تصویر لگاتا ہے اور مرمت کی درخواست کرتا ہے۔

Stronger approach بالکل وہی درخواست دیتا ہے، متوقع 12.35، دیکھا گیا 12.3499، اور قاعدہ کہ بل میں دو ہندسوں تک رقم ہوتی ہے۔ درخواست کو ایک لائن تک کم کر دیتا ہے جو اب بھی ناکام ہوتی ہے۔

Why the stronger approach works دونوں ایک ہی خرابی رپورٹ کرتے ہیں۔ صرف مضبوط والا وہ شخص چلا سکتا ہے جس نے وہ چیٹ کبھی نہیں دیکھی۔

Try a changed situation آپ کا آئٹم چار صفحات کے ان پٹ پر ناکام ہوتا ہے۔ ساتھی کہتا ہے کہ پتہ نہیں چلتا کون سا حصہ اسے توڑ رہا ہے۔

Make something yourself اس ہفتے ملا ہوا کوئی ایک غلط جواب لیں۔ اسے ٹیسٹ آئٹم کی طرح لکھیں: ان پٹ، متوقع آؤٹ پٹ، دیکھا گیا آؤٹ پٹ، اور وجہ۔

Read the primary or official source: Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv)