ਮਸ਼ੀਨ ਦੁਆਰਾ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ। ਅੰਗਰੇਜ਼ੀ ਅਤੇ ਹਿੰਦੀ ਸਮੀਖਿਆ ਕੀਤੇ ਗਏ ਸੰਸਕਰਣ ਹਨ।English हिन्दी

Learn
See
Try
Make

ਰੱਖਿਆ ਹੋਇਆ ਸੈੱਟ ਅਜੇ ਵੀ ਰੱਖੋ

What this lesson is about

ਜਦੋਂ ਟੈਸਟ ਨਤੀਜਾ ਪਹਿਲਾਂ ਹੀ ਸਿਸਟਮ ਠੀਕ ਕਰਨ ਲਈ ਵਰਤਿਆ ਗਿਆ ਹੋਵੇ, ਉਸਨੂੰ ਪਛਾਣੋ। ਫਿਰ ਸੱਚਾਈ ਨਾਲ ਰੱਖਿਆ ਹੋਇਆ ਸੈੱਟ ਦੁਬਾਰਾ ਬਣਾਓ।

ਤੁਹਾਡੀ ਟੀਮ ਨੇ ਪੰਜਾਹ ਸਵਾਲ ਰੱਖੇ। ਤੁਸੀਂ ਉਹ ਬਾਰਾਂ ਸਵਾਲ ਪੜ੍ਹੇ ਜੋ ਫੇਲ ਹੋਏ ਅਤੇ ਹੁਕਮ ਬਦਲੇ। ਤੁਸੀਂ ਕਿਹੜਾ ਸਕੋਰ ਦੱਸੋਗੇ?

Why this matters

ਰੱਖਿਆ ਹੋਇਆ ਸੈੱਟ — ਉਹ ਸਵਾਲ ਜਿਨ੍ਹਾਂ 'ਤੇ ਸਿਸਟਮ ਕਦੇ ਬਣਾਇਆ ਨਹੀਂ ਗਿਆ — ਜਲਦੀ ਖ਼ਤਮ ਹੋ ਜਾਂਦਾ ਹੈ। ਇਹ ਪਹਿਲੀ ਵਾਰੀ ਖ਼ਤਮ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਕੋਈ ਉਸ ਦੀਆਂ ਗਲਤੀਆਂ ਪੜ੍ਹ ਕੇ ਸਿਸਟਮ ਵਿੱਚ ਬਦਲਾਅ ਕਰਦਾ ਹੈ।

ਦੱਸੋ ਕਿ ਕਿਹੜੇ ਮੁਲਾਂਕਣ ਆਈਟਮ ਅਜੇ ਵੀ ਸਬੂਤ ਦੇ ਰਹੇ ਹਨ, ਅਤੇ ਜਦੋਂ ਸੈੱਟ ਠੀਕ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਵੇ ਤਾਂ ਉਸਨੂੰ ਦੁਬਾਰਾ ਬਣਾਓ।

ਜੋ ਆਈਟਮ ਸਿਸਟਮ ਠੀਕ ਕਰਨ ਲਈ ਵਰਤਿਆ ਗਿਆ, ਉਹ ਹੁਣ ਉਸ ਬਾਰੇ ਸਬੂਤ ਨਹੀਂ ਰਹਿੰਦਾ।
ਦਰਜ ਕਰੋ ਕਿ ਹਰ ਆਈਟਮ ਕਿਹੜੇ ਕੰਮ ਲਈ ਅਤੇ ਕਦੋਂ ਵਰਤਿਆ ਗਿਆ।
ਅਗਲੀ ਵਾਰੀ ਤੋਂ ਪਹਿਲਾਂ ਰੱਖਿਆ ਹੋਇਆ ਸੈੱਟ ਫਿਰ ਭਰੋ; ਇਸਨੂੰ ਦੁਬਾਰਾ ਵਰਤੋਂ ਨਾ ਕਰੋ।

Task

ਪੰਜਾਹ ਰੱਖੇ ਹੋਏ ਸਵਾਲ। ਬਾਰਾਂ ਫੇਲ ਸਵਾਲ ਪੜ੍ਹ ਕੇ ਹਦਾਇਤਾਂ ਬਦਲੀਆਂ ਗਈਆਂ।

Weak approach ਚੈੱਕ ਕਰਦਾ ਹੈ ਕਿ ਪੰਜਾਹ ਸਵਾਲਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਨੂੰ ਸੋਧਿਆ ਤਾਂ ਨਹੀਂ ਗਿਆ — ਅਤੇ ਕਿਸੇ ਨੂੰ ਨਹੀਂ ਸੋਧਿਆ ਗਿਆ। ਫਿਰ ਸਾਰੇ ਪੰਜਾਹ ਦਾ ਸਕੋਰ ਦੱਸਦਾ ਹੈ ਅਤੇ ਫਿਰ ਵੀ ਸੈੱਟ ਨੂੰ ਰੱਖਿਆ ਹੋਇਆ ਕਹਿੰਦਾ ਹੈ। ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਬਾਰਾਂ ਉਹ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਪੜ੍ਹਦੇ ਸਮੇਂ ਹਦਾਇਤਾਂ ਬਦਲ ਰਹੀਆਂ ਸਨ, ਇਸ ਲਈ ਹੁਣ ਉਹ ਬਾਰਾਂ ਉਸੀ ਸੁਧਾਰ ਨੂੰ ਮਾਪ ਰਹੇ ਹਨ।

Stronger approach ਬਿਨਾਂ ਛੂਹੇ ਬਚੇ ਤੀਹ ਅਠ ਸਵਾਲਾਂ ਦਾ ਸਕੋਰ ਰੱਖਿਆ ਹੋਇਆ ਦੱਸਦਾ ਹੈ। ਬਾਰਾਂ ਨੂੰ ਠੀਕ ਕਰਨ ਵਾਲੇ ਆਈਟਮ ਵਜੋਂ ਨਿਸ਼ਾਨ ਲਗਾਉਂਦਾ ਹੈ ਅਤੇ ਨਵੇਂ ਆਈਟਮ ਇਕੱਠੇ ਕਰਦਾ ਹੈ।

Why the stronger approach works ਸੱਚਾ ਨੰਬਰ ਛੋਟਾ ਹੈ ਅਤੇ ਕੁਝ ਮਤਲਬ ਰੱਖਦਾ ਹੈ। ਵੱਡਾ ਨੰਬਰ ਟੀਮ ਦੇ ਆਪਣੇ ਸੁਧਾਰਾਂ ਨੂੰ ਮਾਪਦਾ ਹੈ।

Try a changed situation ਹੁਣ ਕੋਈ ਸਕੂਲ ਮਾਡਲ ਨਹੀਂ, ਨਵਾਂ ਪੜ੍ਹਾਉਣ ਦਾ ਤਰੀਕਾ ਅਜ਼ਮਾ ਰਿਹਾ ਹੈ। ਕਿਹੜਾ ਨਿਯਮ ਅਜੇ ਵੀ ਲਾਗੂ ਹੁੰਦਾ ਹੈ?

Make something yourself ਕੋਈ ਵੀ ਚੈੱਕ ਲਵੋ ਜੋ ਤੁਸੀਂ ਵਾਰ-ਵਾਰ ਕਰਦੇ ਹੋ, ਜਿਵੇਂ ਮੌਕ ਟੈਸਟ ਜਾਂ ਮਹੀਨਾਵਾਰ ਰਿਪੋਰਟ ਸਮੀਖਿਆ। ਲਿਖੋ ਕਿ ਕਿਹੜੇ ਆਈਟਮ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਠੀਕ ਕਰਨ ਲਈ ਵਰਤੇ ਹਨ। ਫਿਰ ਲਿਖੋ ਕਿ ਤੁਸੀਂ ਕਿਵੇਂ ਇੱਕ ਸਾਫ਼ ਸੈੱਟ ਇਕੱਠਾ ਕਰੋਗੇ।

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)