ਮਸ਼ੀਨ ਦੁਆਰਾ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ। ਅੰਗਰੇਜ਼ੀ ਅਤੇ ਹਿੰਦੀ ਸਮੀਖਿਆ ਕੀਤੇ ਗਏ ਸੰਸਕਰਣ ਹਨ।English हिन्दी

Learn
See
Try
Make

ਸਿੱਧੀ ਪਸੰਦ ਸਿਖਲਾਈ

What this lesson is about

ਦੋ ਰਾਹਾਂ ਦੀ ਤੁਲਨਾ ਕਰੋ: ਸਕੋਰਰ ਸਿਖਾਉਣਾ ਅਤੇ RL ਵਰਤਣਾ, ਜਾਂ ਮਾਡਲ ਨੂੰ ਜੋੜੀ ਤੋਂ ਸਿੱਧਾ ਬਦਲਣਾ।

ਇੱਕ ਸੰਸਥਾ ਤੁਹਾਡੇ ਗਰੁੱਪ ਨੂੰ ਕਹਿੰਦੀ ਹੈ ਕਿ ਉਹ ਹੁਣ ਇਸ ਕੰਮ ਲਈ ਸਕੋਰਰ ਨਹੀਂ ਬਣਾਏਗੀ। ਕਮਰੇ ਵਿੱਚ ਕਿਸੇ ਨੂੰ ਸਮਝ ਨਹੀਂ ਆ ਰਿਹਾ।

Why this matters

ਪੁਰਾਣਾ ਰਾਹ ਤੁਹਾਡੇ ਜੋੜਿਆਂ ਤੋਂ ਸਕੋਰਰ ਸਿਖਾਉਂਦਾ ਹੈ, ਫਿਰ RL ਨਾਲ ਮਾਡਲ ਨੂੰ ਉਸਦੇ ਖਿਲਾਫ ਸੁਧਾਰਦਾ ਹੈ। 2023 ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਸਿੱਧੀ ਪਸੰਦ ਸਿਖਲਾਈ ਸਕੋਰਰ ਨੂੰ ਹਟਾ ਕੇ ਮਾਡਲ ਨੂੰ ਚੁਣੇ ਅਤੇ ਰੱਦ ਕੀਤੇ ਜਵਾਬ ਤੋਂ ਸਿੱਧਾ ਬਦਲਦਾ ਹੈ। ਤੁਹਾਡੇ ਮਾਰਕ ਲਗਾਉਣ ਦਾ ਤਰੀਕਾ ਨਹੀਂ ਬਦਲਦਾ। ਇੱਕ ਆਦਤ ਹੁਣ ਮਹਿੰਗੀ ਹੋ ਜਾਂਦੀ ਹੈ: ਟਾਈ ਮਾਰਕ ਕੀਤੀ ਜੋੜੀ ਇਸ ਰਾਹ ਨੂੰ ਕੁਝ ਨਹੀਂ ਦਿੰਦੀ।

ਦੱਸੋ ਕਿ ਸਿੱਧੀ ਪਸੰਦ ਸਿਖਲਾਈ ਪੁਰਾਣੇ ਦੋ-ਕਦਮੀ ਰਾਹ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰੀ ਹੈ ਅਤੇ ਇਹ ਤੁਹਾਡੇ ਬੈਚ ਤੋਂ ਕੀ ਮੰਗਦੀ ਹੈ।

ਸਿੱਧੀ ਪਸੰਦ ਸਿਖਲਾਈ ਮਾਡਲ ਨੂੰ ਚੁਣੇ ਅਤੇ ਰੱਦ ਕੀਤੇ ਜਵਾਬ ਤੋਂ ਸਿੱਧਾ ਬਦਲਦੀ ਹੈ।
ਪੁਰਾਣਾ ਰਾਹ ਦੋ ਕਦਮ ਮੰਗਦਾ ਹੈ: ਪਹਿਲਾਂ ਸਕੋਰਰ ਸਿਖਾਓ, ਫਿਰ RL ਨਾਲ ਮਾਡਲ ਸੁਧਾਰੋ।
ਆਪਣੇ ਬੈਚ ਵਿੱਚ ਦੇਖਣ ਵਾਲੀ ਗਿਣਤੀ ਹੈ ਕਿ ਤੁਸੀਂ ਕਿੰਨੀ ਜੋੜੀਆਂ ਨੂੰ ਟਾਈ ਮਾਰਕ ਕੀਤਾ ਹੈ।

Task

ਖਰੀਦਦਾਰ ਨੇ ਤੁਹਾਡੇ ਗਰੁੱਪ ਨੂੰ ਕਿਹਾ ਕਿ ਸਿੱਧੀ ਪਸੰਦ ਦੌੜ ਲਈ ਤਿੰਨ ਸੌ ਪੁਰਾਣੀਆਂ ਜੋੜੀਆਂ ਦੁਬਾਰਾ ਚੈੱਕ ਕਰੋ।

Weak approach ਕਹਿੰਦਾ ਹੈ ਕਿ ਪੁਰਾਣੇ ਮਾਰਕ ਚੱਲ ਜਾਣਗੇ ਕਿਉਂਕਿ ਜਵਾਬ ਨਹੀਂ ਬਦਲੇ ਅਤੇ ਚੰਗੇ ਜਵਾਬ 'ਤੇ ਮਾਰਕ ਪਹਿਲਾਂ ਹੀ ਲੱਗ ਚੁੱਕਾ ਹੈ। ਪੱਤਰ ਖੋਲ੍ਹੇ ਬਿਨਾਂ ਸਾਰੇ ਤਿੰਨ ਸੌ ਅੱਗੇ ਭੇਜ ਦਿੰਦਾ ਹੈ।

Stronger approach ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਟਾਈ ਮਾਰਕ ਗਿਣਦਾ ਹੈ ਅਤੇ ਤਿੰਨ ਸੌ ਵਿੱਚੋਂ ਇਕਤਾਲੀਸ ਲੱਭਦਾ ਹੈ। ਉਹਨਾਂ ਨੂੰ ਫੈਸਲਾ ਕਰਨ ਜਾਂ ਹਟਾਉਣ ਲਈ ਵਾਪਸ ਭੇਜਦਾ ਹੈ ਅਤੇ ਕਾਰਨ ਪੱਤਰ 'ਤੇ ਲਿਖਦਾ ਹੈ।

Why the stronger approach works ਦੋਹਾਂ ਨੇ ਇੱਕੋ ਬੈਚ ਨੂੰ ਦੁਬਾਰਾ ਪੜ੍ਹਿਆ। ਸਿਰਫ ਮਜ਼ਬੂਤ ਜਵਾਬ ਉਹਨਾਂ ਮਾਰਕਾਂ ਨੂੰ ਗਿਣਦਾ ਹੈ ਜੋ ਇਹ ਦੌੜ ਵਰਤ ਨਹੀਂ ਸਕਦੀ।

Try a changed situation ਤੁਹਾਡੇ ਤਿੰਨ ਸੌ ਜੋੜਿਆਂ ਵਿੱਚੋਂ ਇਕਤਾਲੀਸ 'ਤੇ ਟਾਈ ਮਾਰਕ ਹੈ। ਖਰੀਦਦਾਰ ਇਸ ਹਫ਼ਤੇ ਸਿੱਧੀ ਪਸੰਦ ਦੌੜ ਚਾਹੁੰਦਾ ਹੈ।

Make something yourself ਜੋ ਜੋੜੀਆਂ ਤੁਸੀਂ ਮਾਰਕ ਕੀਤੀਆਂ ਹਨ, ਉਹ ਬੈਚ ਲਵੋ। ਦੱਸੋ ਕਿ ਕਿੰਨੀਆਂ ਟਾਈ ਹਨ ਅਤੇ ਸਿੱਧੀ ਪਸੰਦ ਦੌੜ ਤੋਂ ਪਹਿਲਾਂ ਤੁਸੀਂ ਉਹਨਾਂ ਨਾਲ ਕੀ ਕਰੋਗੇ।

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)