અલગ રાખેલ સેટ અલગ જ રાખો

What this lesson is about

જ્યારે પરીક્ષણ પરિણામનો ઉપયોગ સિસ્ટમ સુધારવા માટે થઈ ગયો હોય ત્યારે ઓળખો. પછી અલગ રાખેલ સેટને ઈમાનદારીથી ફરીથી બનાવો.

તમારી ટીમે પચાસ પ્રશ્નો અલગ રાખ્યા હતા. તમે તે બાર પ્રશ્નો વાંચ્યા જે તે નિષ્ફળ રહ્યા અને સૂચનાઓ બદલી. તમે કયો સ્કોર રિપોર્ટ કરશો?

Why this matters

અલગ રાખેલ સેટ — એવા પ્રશ્નો જેમ પર સિસ્ટમ ક્યારેય બનાવાઈ નથી — ઝડપથી ખર્ચાય જાય છે. તે પહેલા જ ખર્ચાય જાય છે જ્યારે કોઈ તેના નિષ્ફળતાઓ વાંચી અને સિસ્ટમમાં ફેરફાર કરે.

કહો કે કયા મૂલ્યાંકન આઇટમ્સ હજી પુરાવા આપે છે, અને જ્યારે સેટ સુધારામાં ઉપયોગમાં લેવાયો હોય ત્યારે તેને ફરીથી બનાવો.

સિસ્ટમ સુધારવા માટે ઉપયોગમાં લેવાયેલ આઇટમ હવે તેના વિશે પુરાવો નથી.
દરેક આઇટમ કયા કામ માટે અને ક્યારે ઉપયોગમાં આવ્યો તે નોંધો.
આગામી રાઉન્ડ પહેલા અલગ રાખેલ સેટ ફરીથી ભરો; તેને ફરીથી ઉપયોગમાં ન લો.

Task

પચાસ અલગ રાખેલ પ્રશ્નો. બાર નિષ્ફળતાઓ વાંચી અને સૂચનાઓ બદલાઈ.

Weak approach પાંચાવન પ્રશ્નોમાંથી કોઈને બદલી ન કરવામાં આવી હોય તે ચકાસે છે, અને કોઈને નબદલાયું નથી. બધા પાંચાવનના ગુણ બતાવે છે અને સેટને હજી પણ અલગ રાખવામાં આવ્યું કહે છે. તેમાંથી બાર પ્રશ્નો ત્યારે વાંચવામાં આવ્યા હતા જ્યારે સૂચનાઓ બદલાઈ રહી હતી, તેથી હવે તે બાર પ્રશ્નો સુધારાને માપે છે.

Stronger approach અછૂતા ત્રીસ આઠ આઇટમ્સને અલગ રાખેલ સ્કોર તરીકે રિપોર્ટ કરે છે. બારને બિલ્ડ આઇટમ્સ તરીકે ચિહ્નિત કરે છે અને નવા એકત્ર કરે છે.

Why the stronger approach works ઈમાનદાર સંખ્યા નાની છે અને કંઈક અર્થ ધરાવે છે. મોટી સંખ્યા ટીમના પોતાના સુધારાઓને માપે છે.

Try a changed situation હવે એક શાળા મોડલ નહીં, નવા શિક્ષણ પદ્ધતિનું મૂલ્યાંકન કરી રહી છે. કયો નિયમ હજી લાગુ પડે છે?

Make something yourself કોઈ પણ ચકાસણી લો જે તમે વારંવાર કરો છો, જેમ કે મૉક ટેસ્ટ અથવા માસિક રિપોર્ટ સમીક્ષા. લખો કે કયા આઇટમ્સ તમે પહેલાથી જ સુધારવા માટે ઉપયોગ કર્યા છે. પછી લખો કે તમે કેવી રીતે એક સાફ સેટ એકત્ર કરશો.

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)