ਮਸ਼ੀਨ ਦੁਆਰਾ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ। ਅੰਗਰੇਜ਼ੀ ਅਤੇ ਹਿੰਦੀ ਸਮੀਖਿਆ ਕੀਤੇ ਗਏ ਸੰਸਕਰਣ ਹਨ।English हिन्दी

Learn
See
Try
Make

ਇੱਕ ਐਸਾ ਮੁਲਾਂਕਣ ਡਿਜ਼ਾਈਨ ਕਰੋ ਜੋ ਫੇਲ ਹੋ ਸਕੇ

What this lesson is about

ਆਸਾਨ, ਮੁਸ਼ਕਲ ਅਤੇ ਸੱਚ-ਮੁੱਚ ਅਸਪਸ਼ਟ ਆਈਟਮਾਂ ਨਾਲ ਇੱਕ ਛੋਟਾ ਚੈੱਕ ਸੈੱਟ ਬਣਾਓ। ਫਿਰ ਪਾਸ ਹੋਣਾ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ।

ਤੁਹਾਡੇ ਦੱਸ ਟੈਸਟ ਸਵਾਲ ਇੱਕ ਹਿੰਦੀ ਬੱਸ-ਟਾਈਮਟੇਬਲ ਸਹਾਇਕ ਲਈ ਉਹੀ ਹਨ ਜਿਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਉਹ ਪਹਿਲਾਂ ਹੀ ਸਹੀ ਦਿੰਦਾ ਹੈ। ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਤੁਸੀਂ ਕੀ ਬਦਲਦੇ ਹੋ?

Why this matters

ਜੋ ਚੈੱਕ ਸੈੱਟ ਸਿਸਟਮ ਬਣਨ ਤੋਂ ਬਾਅਦ ਚੁਣਿਆ ਜਾਂਦਾ ਹੈ, ਉਹ ਅਕਸਰ ਪਹਿਲਾਂ ਹੀ ਕੀਤੇ ਫੈਸਲਿਆਂ ਨੂੰ ਮਾਪਦਾ ਹੈ।

ਇੱਕ ਛੋਟਾ ਚੈੱਕ ਸੈੱਟ ਬਣਾਓ ਜਿਸਦਾ ਸਕੋਰ ਘਟ ਸਕੇ, ਅਤੇ ਪਹਿਲਾਂ ਹੀ ਦੱਸੋ ਕਿ ਹਰ ਆਈਟਮ ਕੀ ਟੈਸਟ ਕਰਦਾ ਹੈ।

ਉਹ ਆਈਟਮ ਸ਼ਾਮਲ ਕਰੋ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਸਿਸਟਮ ਅੱਜ ਫੇਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।
ਚੈੱਕ ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਉਮੀਦਵਾਰ ਜਵਾਬ ਲਿਖੋ।
ਹਰ ਆਈਟਮ ਨੂੰ ਆਸਾਨ, ਮੁਸ਼ਕਲ ਜਾਂ ਸੱਚ-ਮੁੱਚ ਅਸਪਸ਼ਟ ਲੇਬਲ ਕਰੋ।

Task

ਹਿੰਦੀ ਬੱਸ ਟਾਈਮਟੇਬਲ ਹੈਲਪਲਾਈਨ ਸਹਾਇਕ ਲਈ ਦਸ ਆਈਟਮਾਂ ਦਾ ਸੈੱਟ।

Weak approach ਹੈਲਪਲਾਈਨ ਦੇ ਆਪਣੇ ਕਾਲ ਲੌਗ ਤੋਂ ਦਸ ਅਸਲੀ ਸਵਾਲ ਇਕੱਠੇ ਕਰਦਾ ਹੈ। ਕੁਝ ਵੀ ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਹਰ ਇੱਕ ਲਈ ਉਮੀਦ ਕੀਤੀ ਜਵਾਬ ਲਿਖਦਾ ਹੈ। ਸਾਰੇ ਦਸ ਸਹੀ ਆਉਂਦੇ ਹਨ। ਸਾਰੇ ਦਸ ਉਹੀ ਸਵਾਲ ਹਨ ਜਿਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਸਹਾਇਕ ਪਹਿਲਾਂ ਹੀ ਦਿੰਦਾ ਹੈ, ਇਸ ਲਈ ਇਸ ਸੈੱਟ ਕੋਲ ਕੋਈ ਅੰਕ ਗਵਾਉਣ ਲਈ ਨਹੀਂ ਹੈ।

Stronger approach ਚਾਰ ਰੋਜ਼ਾਨਾ ਸਵਾਲ, ਚਾਰ ਜਾਣੇ-ਪਹਚਾਣੇ ਫੇਲ ਜਿਵੇਂ ਰਾਤ ਦੀ ਬੱਸ ਅਤੇ ਨਾਮ ਬਦਲਿਆ ਹੋਇਆ ਸਟਾਪ, ਦੋ ਜਿਹੜੇ ਸਟਾਫ਼ ਆਪਸ ਵਿੱਚ ਵੀ ਵਾਦ-ਵਿਵਾਦ ਕਰਦੇ ਹਨ। ਹਰ ਇੱਕ ਦਾ ਉਮੀਦਵਾਰ ਜਵਾਬ ਪਹਿਲਾਂ ਲਿਖਿਆ ਹੋਇਆ।

Why the stronger approach works ਮਜ਼ਬੂਤ ਸੈੱਟ ਨੁਕਸਾਨ ਦਿਖਾ ਸਕਦਾ ਹੈ। ਇਹੀ ਇਸਨੂੰ ਚਲਾਉਣ ਦਾ ਇਕੱਲਾ ਕਾਰਨ ਹੈ।

Try a changed situation ਹੁਣ ਤੁਸੀਂ ਇੱਕ ਆਮ ਸੇਵਾ ਕੇਂਦਰ ਵਿੱਚ ਫਾਰਮ ਭਰਨ ਵਾਲੇ ਸਹਾਇਕ ਦੀ ਜਾਂਚ ਕਰ ਰਹੇ ਹੋ। ਕਿਹੜਾ ਨਿਯਮ ਹਾਲੇ ਵੀ ਲਾਗੂ ਹੁੰਦਾ ਹੈ?

Make something yourself ਆਪਣੇ ਚੰਗੀ ਤਰ੍ਹਾਂ ਜਾਣੇ ਕੰਮ ਲਈ ਛੇ ਚੈੱਕ ਆਈਟਮ ਬਣਾਓ। ਦੋ ਆਸਾਨ, ਦੋ ਮੁਸ਼ਕਲ ਅਤੇ ਦੋ ਸੱਚ-ਮੁੱਚ ਅਸਪਸ਼ਟ ਚੁਣੋ। ਚੈੱਕ ਸ਼ੁਰੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਹਰ ਆਈਟਮ ਦਾ ਉਮੀਦਵਾਰ ਜਵਾਬ ਲਿਖੋ।

Read the primary or official source: Holistic Evaluation of Language Models