رکيل ٿيل سيٽ کي رکيل رکو

What this lesson is about

جڏهن ٽيسٽ جو نتيجو اڳ ۾ ئي سسٽم کي ٺيڪ ڪرڻ لاءِ استعمال ٿي چڪو هجي ته ان کي سڃاڻو. پوءِ رکيل ٿيل سيٽ کي ايمانداريءَ سان ٻيهر ٺاھيو.

توهانجي ٽيم پنجاهه سوال پٺتي رکي ڇڏيا. توهان ٻارنهن سوال پڙهيا جيڪي ناڪام ٿيا ۽ هدايتون تبديل ڪيون. ڪهڙو اسڪور رپورٽ ڪندا؟

Why this matters

رکيل ٿيل سيٽ — سوال جيڪي سسٽم تي ڪڏهن به تعمير نه ٿيا هجن — جلدي ختم ٿي وڃن ٿا. اهو پهريون ڀيرو ختم ٿئي ٿو جڏهن ڪو ان جون ناڪاميون پڙهي سسٽم ۾ تبديلي ڪري.

چئو ته ڪهڙا جائزو وٺڻ وارا شيون اڃا ثبوت ڏين ٿيون، ۽ جڏهن سيٽ ٺيڪ ڪرڻ لاءِ استعمال ٿئي ته ان کي ٻيهر ٺاھيو.

ڪو به شي جيڪو سسٽم کي ٺيڪ ڪرڻ لاءِ استعمال ٿئي ٿو، اهو سسٽم بابت ثبوت رهڻ بند ڪري ٿو.
هر شيءَ لاءِ لکڻ ته اها ڪهڙي ڪم لاءِ ۽ ڪڏهن استعمال ٿي آهي.
رکيل ٿيل سيٽ کي ايندڙ ڀيري کان اڳ ٻيهر ڀريو؛ ان کي ٻيهر استعمال نه ڪريو.

Task

پنجاهه رکيل سوال. ٻارنهن ناڪاميون پڙهي هدايتون تبديل ڪيون ويون.

Weak approach چيڪ ڪري ٿو ته پنجاهه سوالن مان ڪنھن کي تبديل نہ ڪيو ويو آھي، ۽ ڪنھن کي نہ ڪيو ويو آھي. سڀني پنجاهه جو اسڪور رپورٽ ڪري ٿو ۽ اڃا به سيٽ کي الڳ رکيل چوي ٿو. انهن مان ٻارھ پڙھيا ويا جڏهن ھدايتون تبديل ٿي رھيون ھيون، تنھنڪري اھي ٻارھ ھاڻي ان ئي مرمت کي ماپين ٿا.

Stronger approach باقي اٺتري سوالن جو اسڪور رکيل سيٽ طور رپورٽ ڪري ٿو. ٻارنهن کي ٺيڪ ڪرڻ وارا سوال چوي ٿو، ۽ نوان سوال گڏ ڪري ٿو.

Why the stronger approach works سچو نمبر ننڍو آهي ۽ ڪجهه معنيٰ رکي ٿو. وڏو نمبر ٽيم جي پنهنجي سڌارن کي ماپيندو آهي.

Try a changed situation هاڻي اسڪول نئون پڙهائڻ جو طريقو پرکيو پيو وڃي، ماڊل نه. ڪهڙو اصول اڃا لاڳو آهي؟

Make something yourself ڪنهن به چيڪ کي وٺو جيڪو توهان ورجائيندا آهيو، جهڙوڪ مشق ٽيسٽ يا مهيني رپورٽ جو جائزو. لکيو ته ڪهڙا شيون توهان اڳ ۾ ئي ٺيڪ ڪرڻ لاءِ استعمال ڪيا آهن. پوءِ لکيو ته توهان ڪيئن صاف سيٽ گڏ ڪندا.

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)