ਮਸ਼ੀਨ ਦੁਆਰਾ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ। ਅੰਗਰੇਜ਼ੀ ਅਤੇ ਹਿੰਦੀ ਸਮੀਖਿਆ ਕੀਤੇ ਗਏ ਸੰਸਕਰਣ ਹਨ।English हिन्दी

Learn
See
Try
Make

ਜਵਾਬ ਲਿਖੋ, ਫਿਰ ਤਿੰਨ ਕੋਸ਼ਿਸ਼ਾਂ ਨੂੰ ਨਿਸ਼ਾਨ ਲਗਾਓ

What this lesson is about

ਉਹ ਸੰਦਰਭ ਜਵਾਬ ਲਿਖੋ ਜਿਸਦੇ ਖਿਲਾਫ ਤੁਹਾਡਾ ਸਕੋਰਿੰਗ ਗਾਈਡ ਲਾਗੂ ਹੁੰਦਾ ਹੈ, ਫਿਰ ਉਸਦੇ ਨਾਲ ਤਿੰਨ ਕੋਸ਼ਿਸ਼ਾਂ ਨੂੰ ਨਿਸ਼ਾਨ ਲਗਾਓ।

ਤੁਹਾਡੇ ਪ੍ਰੋਜੈਕਟ ਨੇ ਤੁਹਾਨੂੰ ਸ਼ੁੱਕਰਵਾਰ ਤੱਕ ਚਾਲੀ ਜਵਾਬਾਂ ਨੂੰ ਸਕੋਰ ਕਰਨ ਲਈ ਕਿਹਾ ਹੈ, ਪਰ ਕੋਈ ਵੀ ਸੰਦਰਭ ਨਹੀਂ ਦਿੱਤਾ। ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਤੁਸੀਂ ਕੀ ਕਰੋਗੇ?

Why this matters

ਬਿਨਾਂ ਲਿਖੇ ਜਵਾਬ ਦੇ ਨਿਸ਼ਾਨ ਲਗਾਉਣਾ ਭਟਕਦਾ ਹੈ: ਤੀਜਾ ਜਵਾਬ ਦੂਜੇ ਦੇ ਖਿਲਾਫ ਨਿਸ਼ਾਨ ਲਗਾਇਆ ਜਾਂਦਾ ਹੈ, ਟਾਸਕ ਦੇ ਖਿਲਾਫ ਨਹੀਂ। ਮਾਡਲ ਗਰੇਡਰਾਂ 'ਤੇ ਛਪੇ ਕੰਮ ਵਿੱਚ ਵੀ ਇਸੀ ਲਈ ਗਰੇਡਰ ਨੂੰ ਸੰਦਰਭ ਜਵਾਬ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਤੁਹਾਡਾ ਜਵਾਬ ਉਹ ਸੋਨੇ ਦਾ ਮਿਆਰ ਹੈ ਜਿਸਨੂੰ ਲਿਸਟਿੰਗ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨ ਲਈ ਕਿਹਾ ਜਾਂਦਾ ਹੈ।

ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਸੰਦਰਭ ਜਵਾਬ ਲਿਖੋ, ਫਿਰ ਉਸਦੇ ਖਿਲਾਫ ਤਿੰਨ ਕੋਸ਼ਿਸ਼ਾਂ ਨੂੰ ਨਿਸ਼ਾਨ ਲਗਾਓ।

ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਜਵਾਬ ਲਿਖੋ; ਬਿਨਾਂ ਸੰਦਰਭ ਜਵਾਬ ਦੇ ਨਿਸ਼ਾਨ ਤੀਜੇ ਕੇਸ ਤੱਕ ਭਟਕ ਜਾਂਦੇ ਹਨ।
ਜਵਾਬ ਦੇ ਖਿਲਾਫ ਨਿਸ਼ਾਨ ਲਗਾਓ, ਨਾ ਕਿ ਜਵਾਬ ਦੇ ਸੁਣਨ ਤੇ।
ਹਰ ਨਿਸ਼ਾਨ ਨੂੰ ਫੈਸਲਾ ਕਰਨ ਵਾਲੀ ਇੱਕ ਲਾਈਨ ਲਿਖੋ, ਤਾਂ ਜੋ ਦੂਜਾ ਨਿਸ਼ਾਨ ਲਗਾਉਣ ਵਾਲਾ ਇਸ ਨਾਲ ਅਸਹਿਮਤ ਹੋ ਸਕੇ।

Task

ਲੌਟੇ ਹੋਏ ਡੱਬਿਆਂ ਵਾਲੇ ਟਾਸਕ ਲਈ ਤਿੰਨ ਜਵਾਬ ਆਉਂਦੇ ਹਨ, ਅਤੇ ਤਿੰਨੇ ਕਰੈਡਿਟ ਮਨਾਂਦੇ ਹਨ।

Weak approach ਤਿੰਨੇ ਪੜ੍ਹ ਕੇ ਸਭ ਤੋਂ ਲੰਮੇ ਜਵਾਬ ਨੂੰ ਪਹਿਲਾਂ ਰੱਖਦਾ ਹੈ, ਕਿਉਂਕਿ ਉਹ ਨੀਤੀ ਨੂੰ ਵੱਡੀ ਲੰਬਾਈ ਨਾਲ ਸਮਝਾਉਂਦਾ ਹੈ। ਇਹ ਕਿਸੇ ਮੈਨੇਜਰ ਵਰਗਾ ਲੱਗਦਾ ਹੈ। ਚਾਰ ਲਾਈਨਾਂ ਵਾਲੇ ਜਵਾਬ ਨੂੰ ਸਖ਼ਤ ਕਹਿ ਕੇ ਸਭ ਤੋਂ ਘੱਟ ਨਿਸ਼ਾਨ ਦਿੰਦਾ ਹੈ।

Stronger approach ਹਰ ਜਵਾਬ ਨੂੰ ਸੰਦਰਭ ਜਵਾਬ ਦੇ ਖਿਲਾਫ ਰੱਖਦਾ ਹੈ। ਲੰਮਾ ਜਵਾਬ ਗਲਤ ਕਾਰਨ ਨਾਲ ਕਰੈਡਿਟ ਮਨਾਂਦਾ ਹੈ, ਇਸ ਲਈ ਪਹਿਲੀ ਲਾਈਨ ਦਾ ਨਿਸ਼ਾਨ ਘਟ ਜਾਂਦਾ ਹੈ। ਚਾਰ ਲਾਈਨਾਂ ਵਾਲਾ ਜਵਾਬ ਸੱਠ ਦਿਨ ਦੀ ਮਿਆਦ ਅਤੇ ਰੀਸਟਾਕਿੰਗ ਚਾਰਜ ਦੱਸਦਾ ਹੈ ਅਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਨਿਸ਼ਾਨ ਲੈਂਦਾ ਹੈ।

Why the stronger approach works ਕਮਜ਼ੋਰ ਨਿਸ਼ਾਨ ਲਗਾਉਣ ਵਾਲੇ ਨੇ ਜਵਾਬਾਂ ਨੂੰ ਆਪਸ ਵਿੱਚ ਤੌਲਿਆ। ਮਜ਼ਬੂਤ ਨੇ ਹਰ ਜਵਾਬ ਨੂੰ ਸੰਦਰਭ ਜਵਾਬ ਨਾਲ ਮਿਲਾਇਆ, ਇਸ ਲਈ ਦੂਜਾ ਨਿਸ਼ਾਨ ਲਗਾਉਣ ਵਾਲਾ ਉਸ ਕੰਮ ਨੂੰ ਚੈੱਕ ਕਰ ਸਕਦਾ ਹੈ।

Try a changed situation ਇੱਕ ਮੀਡੀਆ ਡੈਸਕ ਤੁਹਾਨੂੰ ਇੱਕੋ ਪ੍ਰੈਸ ਨੋਟ ਦੇ ਦੋ ਖ਼ਬਰਾਂ ਦੇ ਸਾਰ ਸਕੋਰ ਕਰਨ ਲਈ ਕਹਿੰਦੀ ਹੈ। ਇੱਕ ਸੁੰਦਰ ਲਿਖਿਆ ਹੋਇਆ ਹੈ, ਦੂਜਾ ਸਧਾਰਨ।

Make something yourself ਪਹਿਲੇ ਪਾਠ ਦਾ ਆਪਣਾ ਟਾਸਕ ਲਓ। ਉਸਦਾ ਸੰਦਰਭ ਜਵਾਬ ਲਿਖੋ, ਫਿਰ ਉਸਦੇ ਖਿਲਾਫ ਤਿੰਨ ਜਵਾਬਾਂ ਨੂੰ ਨਿਸ਼ਾਨ ਲਗਾਓ। ਹਰ ਨਿਸ਼ਾਨ ਲਈ ਉਹ ਇੱਕ ਲਾਈਨ ਲਿਖੋ ਜਿਸਨੇ ਨਿਸ਼ਾਨ ਫੈਸਲਾ ਕੀਤਾ।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)