ਮਸ਼ੀਨ ਦੁਆਰਾ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ। ਅੰਗਰੇਜ਼ੀ ਅਤੇ ਹਿੰਦੀ ਸਮੀਖਿਆ ਕੀਤੇ ਗਏ ਸੰਸਕਰਣ ਹਨ।English हिन्दी

Learn
See
Try
Make

ਨਿਸ਼ਾਨ ਲਗਾਉਣ ਵਾਲੇ ਮਾਡਲ ਦੀ ਜਾਂਚ ਕਰੋ

What this lesson is about

ਆਪਣੇ ਨਿਸ਼ਾਨਾਂ ਨਾਲ ਮਾਡਲ ਗਰੇਡਰ ਦੀ ਮਾਪ ਕਰੋ, ਅਤੇ ਉਹ ਤਿੰਨ ਆਦਤਾਂ ਟੈਸਟ ਕਰੋ ਜੋ ਇਸ ਦੀ ਗਿਣਤੀ ਨੂੰ ਬੇਕਾਰ ਬਣਾਉਂਦੀਆਂ ਹਨ।

ਤੁਹਾਡੇ ਖਰੀਦਦਾਰ ਨੂੰ ਹਰ ਹਫ਼ਤੇ ਦੋ ਹਜ਼ਾਰ ਜਵਾਬਾਂ 'ਤੇ ਨਿਸ਼ਾਨ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਉਹ ਮਾਡਲ ਦਿੰਦਾ ਹੈ। ਤੁਸੀਂ ਕਿੱਥੋਂ ਸ਼ੁਰੂ ਕਰੋਗੇ?

Why this matters

ਮਾਡਲ ਇੱਕ ਗਰੁੱਪ ਨਾਲੋਂ ਕਈ ਗੁਣਾ ਜ਼ਿਆਦਾ ਜਵਾਬਾਂ 'ਤੇ ਨਿਸ਼ਾਨ ਲਗਾ ਸਕਦਾ ਹੈ। ਇੱਕ ਪ੍ਰਕਾਸ਼ਿਤ ਅਧਿਐਨ ਵਿੱਚ ਇੱਕ ਮਜ਼ਬੂਤ ਮਾਡਲ ਨੇ ਲਗਭਗ ਅੱਸੀ ਪ੍ਰਤੀਸ਼ਤ ਵਾਰੀ ਲੋਕਾਂ ਨਾਲ ਸਹਿਮਤੀ ਦਿਖਾਈ, ਜੋ ਕਿ ਦੋ ਲੋਕਾਂ ਦੀ ਸਹਿਮਤੀ ਵਰਗੀ ਹੈ। ਉਸੇ ਅਧਿਐਨ ਵਿੱਚ ਉਹ ਆਦਤਾਂ ਵੀ ਦੱਸੀ ਗਈਆਂ ਹਨ ਜਿਨ੍ਹਾਂ ਦੀ ਜਾਂਚ ਕਰਨੀ ਹੈ: ਲੰਮਾ ਜਵਾਬ ਜਿੱਤਦਾ ਹੈ, ਪਹਿਲਾ ਦਿਖਾਇਆ ਜਵਾਬ ਜਿੱਤਦਾ ਹੈ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਆਪਣੀ ਲਿਖਤ ਪਸੰਦ ਹੈ।

ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਆਪਣੇ ਨਿਸ਼ਾਨਾਂ ਨਾਲ ਮਾਡਲ ਦੀ ਜਾਂਚ ਨਾ ਕਰੋ, ਉਸਦੇ ਕਿਸੇ ਵੀ ਗਿਣਤੀ 'ਤੇ ਭਰੋਸਾ ਨਾ ਕਰੋ।

ਪਹਿਲਾਂ ਹੱਥ ਨਾਲ ਇੱਕ ਸੈੱਟ 'ਤੇ ਨਿਸ਼ਾਨ ਲਗਾਓ, ਫਿਰ ਗਿਣੋ ਕਿ ਮਾਡਲ ਤੁਹਾਡੇ ਨਾਲ ਕਿੰਨੀ ਵਾਰੀ ਸਹਿਮਤ ਹੁੰਦਾ ਹੈ।
ਤਿੰਨ ਆਦਤਾਂ ਦੀ ਜਾਂਚ ਕਰੋ: ਲੰਮਾ ਜਵਾਬ ਜਿੱਤਣਾ, ਪਹਿਲਾ ਜਵਾਬ ਜਿੱਤਣਾ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਆਪਣੀ ਲਿਖਤ ਪਸੰਦ ਹੋਣਾ।
ਸਹਿਮਤੀ ਦੀ ਗਿਣਤੀ ਨਾਲ ਗਿਣਤੀ ਜਾਰੀ ਕਰੋ, ਕਦੇ ਵੀ ਮਾਡਲ ਦਾ ਅੰਕਲਾ ਅਕੇਲਾ ਨਾ ਦਿਓ।

Task

ਇੱਕ ਟੀਮ ਚਾਹੁੰਦੀ ਹੈ ਕਿ ਮਾਡਲ ਹਰ ਹਫ਼ਤੇ ਦੋ ਹਜ਼ਾਰ ਹਿੰਦੀ ਜਵਾਬਾਂ 'ਤੇ ਨਿਸ਼ਾਨ ਲਗਾਏ।

Weak approach ਮਾਡਲ ਨੂੰ ਸਾਰੇ ਦੋ ਹਜ਼ਾਰ ਜਵਾਬਾਂ 'ਤੇ ਚਲਾਉਂਦਾ ਹੈ, ਪਾਸ ਦਰ ਦੱਸਦਾ ਹੈ, ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਕੁਝ ਨਿਸ਼ਾਨ ਸਮਝਦਾਰ ਲੱਗੇ। ਕਿਸੇ ਨੂੰ ਹੱਥ ਨਾਲ ਨਹੀਂ ਨਿਸ਼ਾਨ ਲਗਾਉਂਦਾ।

Stronger approach ਪਹਿਲਾਂ ਅੱਸੀ ਜਵਾਬਾਂ 'ਤੇ ਹੱਥ ਨਾਲ ਨਿਸ਼ਾਨ ਲਗਾਉਂਦਾ ਹੈ। ਮਾਡਲ ਸੱਤਾਹਠ 'ਤੇ ਸਹਿਮਤ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਅਠਾਰਾਂ ਵਿੱਚੋਂ ਚੌਦਾਂ ਵੰਡ ਲੰਮੇ ਜਵਾਬ ਵੱਲ ਹੁੰਦੀ ਹੈ। ਬਾਕੀ ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਦੋਹਾਂ ਗਿਣਤੀਆਂ ਦੱਸਦਾ ਹੈ।

Why the stronger approach works ਦੋਹਾਂ ਨੇ ਮਾਡਲ ਵਰਤਿਆ। ਸਿਰਫ ਮਜ਼ਬੂਤ ਜਵਾਬ ਦੱਸ ਸਕਦਾ ਹੈ ਕਿ ਮਾਡਲ ਦੀ ਗਿਣਤੀ ਦੀ ਕੀਮਤ ਕੀ ਹੈ।

Try a changed situation ਮਾਡਲ ਸੱਤ ਵਿੱਚੋਂ ਸੱਤ ਜੋੜਿਆਂ 'ਚ ਪਹਿਲਾ ਦਿਖਾਇਆ ਜਵਾਬ ਜਿੱਤਦਾ ਹੈ। ਤੁਹਾਡੇ ਆਪਣੇ ਨਿਸ਼ਾਨ ਬਰਾਬਰ ਵੰਡੇ ਹੋਏ ਹਨ।

Make something yourself ਚਾਲੀ ਜਵਾਬਾਂ 'ਤੇ ਹੱਥ ਨਾਲ ਨਿਸ਼ਾਨ ਲਗਾਓ, ਫਿਰ ਉਹੀ ਚਾਲੀ ਮਾਡਲ ਨਾਲ ਨਿਸ਼ਾਨ ਲਗਵਾਓ। ਸਹਿਮਤੀ ਦੱਸੋ ਅਤੇ ਵੰਡਾਂ ਦੇ ਪਿੱਛੇ ਦੀ ਆਦਤ ਦਾ ਨਾਮ ਦਿਓ।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)