अलग राखल सेट के अलग राखू

What this lesson is about

देखू जे कब टेस्ट के नतीजा के सिस्टम सुधार लेल पहिने सँ इस्तेमाल कएल गेल अछि। फेर ईमानदारी सँ अलग राखल सेट के फेर सँ बनाउ।

अहाँक टीम पचास प्रश्न अलग राखलक। अहाँ ओहि में सँ बारह जे असफल भेल, पढ़ि कऽ निर्देश बदललहुँ। अहाँ के कोन स्कोर रिपोर्ट करब?

Why this matters

अलग राखल सेट — जे प्रश्न पर सिस्टम कखनो बनाओल नहि गेल — जल्दी खर्च भऽ जाइत अछि। पहिल बेर जखन कियो ओकर असफलता पढ़ि कऽ सिस्टम में बदलाव करैत अछि, तखन ई खर्च भऽ जाइत अछि।

बताउ जे कोन मूल्यांकन आइटम अबहियो प्रमाण दैत अछि, आ जे सेट सुधार लेल इस्तेमाल भऽ चुकल अछि ओकरा फेर सँ बनाउ।

जे आइटम सिस्टम सुधार लेल इस्तेमाल भेल, ओ ओकर प्रमाण नहि रहि जाइत अछि।
प्रत्येक आइटम के कोन काज लेल आ कब इस्तेमाल भेल, ई दर्ज करू।
अगिला दौर सँ पहिने अलग राखल सेट के फेर सँ भरू; ओकर पुनः उपयोग नहि करू।

Task

पचास अलग राखल प्रश्न। बारह असफलता पढ़ि कऽ निर्देश बदलल गेल।

Weak approach जाँच करैत अछि जे पचास प्रश्न सभ मे सँ ककरो संपादित नहि कएल गेल अछि, आ ककरो नहि कएल गेल। सभ पचासक स्कोर बतबैत अछि आ फेरो सेट केँ अलग राखल कहैत अछि। बारह प्रश्न ओहि समय पढ़ल गेल छल जखन निर्देश बदलल जा रहल छल, तेँ ओ बारह आब सुधार केँ मापन करैत अछि।

Stronger approach बिना छुए रहल अड़तीस के अलग राखल स्कोर के रूप में रिपोर्ट करैत अछि। ओ बारह के निर्माण आइटम कहैत अछि आ नव प्रश्न जमा करैत अछि।

Why the stronger approach works ईमानदार संख्या छोट आ अर्थपूर्ण होइत अछि। पैघ संख्या टीम के अपन सुधार के माप करैत अछि।

Try a changed situation एकटा स्कूल आब मॉडल नहि, नव पढ़ेबाक तरीका के परखि रहल अछि। कोन नियम अबहियो लागू होइत अछि?

Make something yourself कोनो जांच जे अहाँ बार-बार करैत छी, जइसे नकली टेस्ट या मासिक रिपोर्ट समीक्षा। लिखू जे कोन आइटम अहाँ पहिने सँ सुधार लेल इस्तेमाल कऽ चुकल छी। फेर लिखू जे अहाँ साफ-सुथरा सेट केना जमा करब।

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)