వేరుగా ఉంచిన సెట్‌ను వేరుగా ఉంచండి

What this lesson is about

పరీక్ష ఫలితం ఇప్పటికే సిస్టమ్‌ను సరిచేసేందుకు ఉపయోగించబడిందని గుర్తించండి. ఆపై వేరుగా ఉంచిన సెట్‌ను నిజాయితీగా మళ్లీ తయారుచేయండి.

మీ జట్టు యాభై ప్రశ్నలను వేరుగా ఉంచింది. అవి పన్నెండు ప్రశ్నలు తప్పిపోయాయి, మీరు వాటిని చదివి సూచనలను మార్చారు. మీరు ఏ స్కోరు నివేదిస్తారు?

Why this matters

వేరుగా ఉంచిన సెట్ — సిస్టమ్ నిర్మాణంలో ఉపయోగించని ప్రశ్నలు — త్వరగా ఖర్చవుతాయి. ఎవరో దాని లోపాలను చదివి సిస్టమ్‌ను మార్చిన మొదటి సారి ఖర్చవుతుంది.

ఏ మూల్యాంకన అంశాలు ఇంకా సాక్ష్యంగా ఉన్నాయో చెప్పగలగడం, మరియు సరిచేసేందుకు ఉపయోగించిన తర్వాత సెట్‌ను మళ్లీ తయారుచేయడం.

సిస్టమ్‌ను సరిచేసేందుకు ఉపయోగించిన అంశం దాని గురించి సాక్ష్యం కాదు.
ప్రతి అంశం ఏ పనికి, ఎప్పుడు ఉపయోగించబడిందో నమోదు చేయండి.
తదుపరి సారి ముందు వేరుగా ఉంచిన సెట్‌ను మళ్లీ నింపండి; మళ్లీ ఉపయోగించవద్దు.

Task

50 వేరుగా ఉంచిన ప్రశ్నలు. 12 విఫలమైనవాటిని చదివి సూచనలను మార్చారు.

Weak approach యాభై ప్రశ్నలలో ఎవరూ ఎడిట్ చేయబడలేదని తనిఖీ చేస్తుంది, ఎవరూ చేయబడలేదు. మొత్తం యాభై ప్రశ్నల స్కోరు తెలియజేస్తుంది మరియు ఆ సెట్‌ను ఇంకా వేరుగా ఉంచినట్లు అంటుంది. ఆ యాభైలో పన్నెండు ప్రశ్నలు సూచనలు మారుతున్నప్పుడు చదివారు, కాబట్టి ఆ పన్నెండు ఇప్పుడు ఆ సవరణను కొలుస్తున్నాయి.

Stronger approach స్పర్శించని 38 అంశాలను వేరుగా ఉంచిన స్కోరు గా నివేదిస్తుంది. 12 సరిచేసిన అంశాలను నిర్మాణ అంశాలుగా గుర్తించి, కొత్త అంశాలు సేకరిస్తుంది.

Why the stronger approach works నిజాయితీ సంఖ్య తక్కువగా ఉంటుంది మరియు అర్థం కలిగి ఉంటుంది. పెద్ద సంఖ్య జట్టు సొంత సరిచేసే పనిని కొలుస్తుంది.

Try a changed situation ఇప్పుడు ఒక పాఠశాల మోడల్ కాకుండా కొత్త బోధనా పద్ధతిని అంచనా వేస్తోంది. ఏ నియమం ఇంకా వర్తిస్తుంది?

Make something yourself మీరు పునరావృతం చేసే పరీక్ష లేదా నెలవారీ నివేదిక సమీక్ష వంటి ఏదైనా తనిఖీ తీసుకోండి. మీరు ఇప్పటికే సరిచేసేందుకు ఉపయోగించిన అంశాలను వ్రాయండి. ఆపై మీరు ఎలా శుభ్రమైన సెట్‌ను సేకరిస్తారో వ్రాయండి.

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)