अलग रख्या होया सेट अलग ही राखो

What this lesson is about

जदों पता लगाओ कि टेस्ट नतीजा पहले ही सिस्टम सुधारन वास्ते इस्तेमाल हो चुका ऐ। फेर अलग रख्या होया सेट ईमानदारी नाल दोबारा बनाओ।

तुवाडे टीम ने पचास सवाल बचा रखे। तुसीं ओह बारह सवाल पढ़े जिणा विच टीम फेल होई ते हिदायत बदल दीती। तुसीं किन्ना नंबर बताओगे?

Why this matters

अलग रख्या होया सेट — जिणा ते सिस्टम कदे काम नहीं किता — जल्दी खत्म हो जांदा ऐ। जदों कोई ओहदी गलती पढ़ के सिस्टम नूं बदलदा ऐ, ओह सेट खत्म हो जांदा ऐ।

दस्सो कि कड़े मूल्यांकन सवाल हाले वी सबूत दे रहे ने, ते जदों सेट सुधार वास्ते इस्तेमाल हो जावे तदों ओह नूं दोबारा बनाओ।

जदों कोई आइटम सिस्टम सुधारन वास्ते इस्तेमाल हो जांदा ऐ, ओह उस सिस्टम बारे सबूत नहीं रहन्दा।
हर आइटम किस काम वास्ते ते कब इस्तेमाल होया, लिख के रखो।
अगली वार तो पहले अलग रख्या होया सेट फिर भरो; ओह नूं दोबारा इस्तेमाल मत करो।

Task

पचास अलग रखे सवाल। ओह बारह जिणा विच फेल होया गया, पढ़ के निर्देश बदल दिए गए।

Weak approach पचास सवालां विचों कदे वी कोई सवाल बदलेया नहीं गया, ए दखण दी जांच करदा ऐ, अते कोई वी नहीं बदलेया गया। सारे पचासां दा स्कोर रिपोर्ट करदा ऐ अते फेर वी इस सेट नूं अलग रखदा ऐ। बारह सवाल ओने ने जदों हुकम बदले जा रहे सान, तद पढ़े गए, इसलई ए बारह सवाल होर सुधार नूं मापदे ने।

Stronger approach बिना छुए तैंतीस सवालां दा स्कोर अलग रख्या होया सेट मान के रिपोर्ट करदा ऐ। ओह बारह सवाल सुधार वास्ते इस्तेमाल होए लिखदा ऐ, ते नवे सवाल जमा करदा ऐ।

Why the stronger approach works ईमानदार संख्या छोटी ऐ ते कुछ मतलब रखदी ऐ। वड्डी संख्या टीम दे अपने सुधार नूं मापदी ऐ।

Try a changed situation हुण स्कूल मॉडल नहीं, पढ़ाई दे नवे तरीके नूं परख रया ऐ। कड़ा नियम हाले वी लागू ऐ?

Make something yourself कोई वी जांच जिणू तुसी बार-बार करदे हो, जिमें मॉक टेस्ट या महीने दी रिपोर्ट समीक्षा। लिखो कि किने सवाल तुसी पहले ही सुधार वास्ते इस्तेमाल कर चुके हो। फेर लिखो कि तुसी साफ-सुथरा सेट किदां जमा करोगे।

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)