غلط جواب کي ٽيسٽ ۾ تبديل ڪريو

What this lesson is about

هڪ غلط جواب وٺو ۽ اهڙو آئٽم لکو جيڪو اڄ ناڪام ٿئي ٿو ۽ مرمت کان پوءِ پاس ٿيندو.

توهان ڏسو ٿا ته هيلپ لائن گورکھپور لاءِ غلط ڪرائي ڏئي رهي آهي. توهان جي سرڪل چوندي آهي ته ان کي صحيح طريقي سان داخل ڪيو وڃي.

Why this matters

هڪ شايع ٿيل ڪوڊ چيڪ سيٽ اهڙي طريقي سان ٺهيل آهي. هر آئٽم وٽ هڪ ٽيسٽ هوندي آهي جيڪا مرمت کان اڳ ناڪام ٿئي ٿي ۽ پوءِ پاس ٿئي ٿي. تنهنڪري مرمت ثابت ٿئي ٿي، دعويٰ نه. شڪايت ثابت نٿي ٿي سگهي ۽ نه ئي ٺيڪ ٿي سگهي ٿي. هڪ آئٽم ڪنهن کي به ڏئي سگهجي ٿو.

هڪ غلط جواب کي اهڙي ٽيسٽ آئٽم ۾ تبديل ڪريو جيڪو ٻيو ڪو هلائي ساڳي ناڪامي ڏسي سگهي.

ٽيسٽ ۾ ٽي شيون گهرجن: صحيح ان پٽ، اميد ڪيل آئوٽ پٽ، ۽ اصل ۾ ڏٺو ويو آئوٽ پٽ.
ان پٽ کي گھٽايو جيستائين سڀ کان ننڍڙو ان پٽ بچي جيڪو اڃا به ناڪام ٿئي.
چئو ته توهان جو اميد ڪيل آئوٽ پٽ صحيح ڇو آهي، نه ته ايندڙ ماڻهو ماڊل سان نه پر آئٽم سان بحث ڪندو.

Task

هڪ دڪان جو اسسٽنٽ 12.3499 واپس ڏنو جڏھن بل ۾ پئسا ڏيکارڻا آهن. ان کي ٽيسٽ آئٽم بڻايو.

Weak approach هڪ نوٽ جمع ڪرائي ٿو ته اسسٽنٽ پئسن ۾ ڪمزور آهي ۽ پئسا غلط ڏيکاري ٿو. ڳالهه ٻولهه جي تصوير لڳائي مرمت لاءِ چوندو آهي.

Stronger approach بلڪل صحيح درخواست ڏئي ٿو، اميد ڪيل 12.35، ڏٺو ويو 12.3499، ۽ قاعدو ته بل ۾ ٻه ڏهائيون ڏيکارڻيون آهن. درخواست کي هڪ لائن تائين گھٽائي ٿو جيڪا اڃا به ناڪام ٿئي ٿي.

Why the stronger approach works ٻئي ساڳي غلطي رپورٽ ڪن ٿا. صرف مضبوط جواب ڪنهن اهڙي ماڻهو هلائي سگهي ٿو جنهن اها ڳالهه ٻولهه ڏٺي ئي ناهي.

Try a changed situation توهان جو آئٽم چار صفحن جي ان پٽ تي ناڪام ٿئي ٿو. هڪ ساٿي چوندو آهي ته اهو نه ٿو سمجهي سگهجي ته ڪهڙو حصو خراب ڪري ٿو.

Make something yourself هن هفتي مليو هڪ غلط جواب وٺو. ان کي ٽيسٽ آئٽم طور لکو: ان پٽ، اميد ڪيل آئوٽ پٽ، ڏٺو ويو آئوٽ پٽ، ۽ سبب.

Read the primary or official source: Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv)