ସିଧା ପସନ୍ଦ ଶିକ୍ଷା

What this lesson is about

ଦୁଇଟି ପଥକୁ ତୁଳନା କରନ୍ତୁ: ଏକ ଅଙ୍କଦାତାକୁ ଶିକ୍ଷା ଦେଇ RL ବ୍ୟବହାର କରିବା, କିମ୍ବା ମଡେଲ୍‌କୁ ସିଧାସଳଖ ଯୁଗଳରୁ ଚାଲାଇବା।

ଗୋଟିଏ ସଂସ୍ଥା ଆପଣଙ୍କ ମଣ୍ଡଳୀକୁ କହିଛି ଯେ ସେ ଏହି କାମ ପାଇଁ ଆଉ ଅଙ୍କଦାତା ତିଆରି କରିବେ ନାହିଁ। କେହି ବୁଝିପାରୁନାହାନ୍ତି।

Why this matters

ପୁରୁଣା ପଥ ଆପଣଙ୍କ ଯୁଗଳରୁ ଏକ ଅଙ୍କଦାତାକୁ ଶିକ୍ଷା ଦେଇଥାଏ, ପରେ RL ଦ୍ୱାରା ମଡେଲ୍‌କୁ ସେଥିରେ ଉନ୍ନତ କରେ। 2023 ରେ ପ୍ରକାଶିତ ସିଧା ପସନ୍ଦ ଶିକ୍ଷା ଅଙ୍କଦାତାକୁ ଛାଡ଼ି ଦିଏ ଏବଂ ଚୟିତ ଓ ପ୍ରତ୍ୟାଖ୍ୟାତ ଉତ୍ତରରୁ ସିଧାସଳଖ ମଡେଲ୍‌କୁ ଚଳାଏ। ଆପଣଙ୍କ ଚିହ୍ନ ଲଗାଇବା ପ୍ରକ୍ରିୟା ପରିବର୍ତ୍ତିତ ହୁଏନି। ଏକ ଅଭ୍ୟାସ ବେଶି ମୂଲ୍ୟବାନ ହେଉଛି: ସମାନ ମାର୍କ ଥିବା ଯୁଗଳ ଏହି ପଥକୁ କିଛି ଦେଇନାହିଁ।

କହନ୍ତୁ କିପରି ସିଧା ପସନ୍ଦ ଶିକ୍ଷା ପୁରୁଣା ଦୁଇ-ପଦକ୍ଷେପ ପଥରୁ ଭିନ୍ନ ଏବଂ ଏହା ଆପଣଙ୍କ ବ୍ୟାଚରୁ କ’ଣ ଚାହାଁଛି।

ସିଧା ପସନ୍ଦ ଶିକ୍ଷା ମଡେଲ୍‌କୁ ଚୟିତ ଓ ପ୍ରତ୍ୟାଖ୍ୟାତ ଉତ୍ତରରୁ ସିଧାସଳଖ ଚଳାଏ।
ପୁରୁଣା ପଥକୁ ଦୁଇ ପଦକ୍ଷେପ ଆବଶ୍ୟକ: ପ୍ରଥମେ ଅଙ୍କଦାତାକୁ ଶିକ୍ଷା ଦିଅ, ପରେ RL ଦ୍ୱାରା ମଡେଲ୍‌କୁ ଉନ୍ନତ କର।
ଆପଣଙ୍କ ବ୍ୟାଚରେ ଯାହା ଯାଞ୍ଚ କରିବାକୁ ହେଉଛି ସେହେଉଛି, କେତେ ଯୁଗଳକୁ ସମାନ ମାର୍କ ଦିଆଯାଇଛି।

Task

ଗ୍ରାହକ ଆପଣଙ୍କ ମଣ୍ଡଳୀକୁ କହିଛନ୍ତି ଯେ ସିଧା ପସନ୍ଦ ରନ୍ ପାଇଁ ୩୦୦ ପୁରୁଣା ଯୁଗଳ ପୁନଃପରୀକ୍ଷା କରନ୍ତୁ।

Weak approach କହିଛି ଯେ ପୁରୁଣା ମାର୍କ ଚାଲିବ, କାରଣ ଉତ୍ତରଗୁଡିକ ପରିବର୍ତ୍ତିତ ହୋଇନି ଏବଂ ଭଲ ଉତ୍ତରରେ ମାର୍କ ଅଛି। ସମସ୍ତ ୩୦୦ ଯୁଗଳକୁ ଶୀଟ୍ ଖୋଲିବା ବିନା ପଠାଇଦେଇଛି।

Stronger approach ପ୍ରଥମେ ସମାନ ମାର୍କ ଗଣନା କରି ୩୦୦ ମଧ୍ୟରୁ ୪୧ ମିଳାଇଛି। ସେଗୁଡିକୁ ନିର୍ଣ୍ଣୟ କରିବା କିମ୍ବା ବାହାର କରିବା ପାଇଁ ପଛକୁ ପଠାଇଛି ଏବଂ କାରଣ ଶୀଟ୍‌ରେ ଲେଖିଛି।

Why the stronger approach works ଦୁହେଁ ଏକେ ବ୍ୟାଚକୁ ପୁନଃପଢ଼ିଛନ୍ତି। କେବଳ ଶକ୍ତିଶାଳୀ ଉତ୍ତର ସେହି ମାର୍କଗୁଡିକୁ ଗଣନା କରେ ଯାହା ଏହି ପଥ ବ୍ୟବହାର କରିପାରିବ ନାହିଁ।

Try a changed situation ଆପଣଙ୍କ ୩୦୦ ଯୁଗଳରେ ୪୧ଟି ସମାନ ମାର୍କ ଅଛି। ଗ୍ରାହକ ଏହି ସପ୍ତାହରେ ସିଧା ପସନ୍ଦ ରନ୍ ଚାହାଁଛନ୍ତି।

Make something yourself ଆପଣ ଚିହ୍ନିତ କରିଥିବା ଯୁଗଳର ଗୋଟିଏ ବ୍ୟାଚ ନିଅନ୍ତୁ। କେତେ ସମାନ ଅଛି ତାହା ରିପୋର୍ଟ କରନ୍ତୁ ଏବଂ ସିଧା ପସନ୍ଦ ରନ୍ ପୂର୍ବରୁ ସେମାନଙ୍କ ସହ କ’ଣ କରିବେ କହନ୍ତୁ।

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)