अलग राखिबा होल्ड-आउट सेट

What this lesson is about

जाँच फला फुर्सत फुर्सत सिस्टम सुधारनाय लगाइ थांदों। होल्ड-आउट सेट सच्चाईस पुनर्निर्माण कर।

आफुनर दलनि फिफ्टी प्रश्न फोराय राखिल। आफुननि बारह फोराय नखौजाय आरो निर्देश बदलील। किदों स्कोर रिपोर्ट करब?

Why this matters

होल्ड-आउट सेट — जोंग सिस्टम बनाय नहाय थांदों — जल्दी खर्च होइ जाथां। जखन कोनो फेल पढ़ि सिस्टम बदलिथां, तखन खर्च होइ जाथां।

कुन मूल्यांकन खोरि प्रमाण राखिथां से कहिबा आरु सुधारनाय लगाइ थांदों सेट पुनर्निर्माण करिबा।

जोंग सिस्टम सुधारनाय लगाइ थांदों, से प्रमाण नहाय रहिथां।
प्रत्येक खोरि कखन आरु किहां लगाइ थांदों से रिकॉर्ड कर।
अगला बेर होल्ड-आउट सेट पुनः भर; पुनः उपयोग न कर।

Task

फिफ्टी होल्ड-आउट प्रश्न। बारह फेल प्रश्न पढ़ि निर्देश बदलि सुधार कर।

Weak approach फिफ्टी सवाल फोर नाय बदला गोजाब, आर फोर नाय बदला गोजाब। फिफ्टी फोर स्कोर रिपोर्ट कराय आर सेट फोर होल्ड आउट बोला। बारह फोर पढ़ाय गोजाब जाबे निर्देश बदला गोजाब, हाबा बारह फोर सुधार मापाय।

Stronger approach अड़तीस बिना छुए खोरि होल्ड-आउट स्कोर रिपोर्ट करिथां। बारह खोरि बिल्ड खोरि चिन्हित करिथां आरु नया खोरि जमा करिथां।

Why the stronger approach works सच्चा संख्या छोट आरु अर्थ राखिथां। बड़ा संख्या टीमर सुधार मापन करिथां।

Try a changed situation एक स्कूल हाबा मॉडल नहाय, नव शिक्षण पद्धति परखिथां। कुन नियम लागू हो?

Make something yourself जोंग जांच बार-बार करिथां, जइसे मॉक टेस्ट वा मासिक रिपोर्ट समीक्षा। लिखिथां जोंग खोरि सुधारनाय लगाइ थांदों। साफ सेट कइसे जमा करिबा से लिखिथां।

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)