ଆପଣଙ୍କର ଲେବେଲ୍ କେଉଁଠି ଯାଉଛି

What this lesson is about

ଆପଣଙ୍କର ସ୍କ୍ରିନ୍ ଠାରୁ ଏକ ରେଟିଂ ବ୍ୟାଚ୍ କୁ ଏକ ଟ୍ରେନିଂ ରନ୍ ପର୍ଯ୍ୟନ୍ତ ଅନୁସରଣ କରନ୍ତୁ, ଏବଂ ଯାତ୍ରାରେ ଯେଉଁ ଚେକ୍ ଗୁଡିକୁ ପାର କରେ ସେଗୁଡିକୁ ଖୋଜନ୍ତୁ।

ଆପଣ ଶୁକ୍ରବାର ୨୦୦ ରୋ ସମ୍ପୂର୍ଣ୍ଣ କରି ପଠାଇଦେଲେ। ଆପଣଙ୍କର ଭାତିଜା ପଚାରେ ଯେ ସେଇ ସନ୍ଧ୍ୟାରେ ମଡେଲ୍ ପରିବର୍ତ୍ତିତ ହୁଏ କି?

Why this matters

ଏକ ପ୍ରକାଶିତ ସହାୟକ ରନ୍ ସପଷ୍ଟ ଭାବରେ ଏହି ଚକ୍ରକୁ ବର୍ଣ୍ଣନା କରେ। ବ୍ୟାଚ୍ ଗୁଡିକୁ ମିଶାଯାଏ, ଏକ ଅଂଶ ଅଲଗା ରଖାଯାଏ, ମଡେଲ୍ ଟ୍ରେନ୍ କରାଯାଏ, ଏବଂ ପରିବର୍ତ୍ତିତ ମଡେଲ୍ ଉପରେ ନୂତନ ବ୍ୟାଚ୍ ଆସେ। ଦୁଇଟି କଥା ନିର୍ଣ୍ଣୟ କରେ ଯେ ପରେ ରନ୍ ବିଶ୍ୱାସଯୋଗ୍ୟ ହେବ କି ନାହିଁ। ଏକ ଅଲଗା ରଖାଯାଇଥିବା ସେଟ୍ — ଯାହା ମଡେଲ୍ କେବେ ଟ୍ରେନ୍ କରେନି — ସମ୍ପାଦନା ସମୟରେ ଅପଠିତ ରହିବା ଦରକାର। ଏବଂ ପ୍ରତ୍ୟେକ ବ୍ୟାଚ୍ ଉପରେ କିଏ ଏବଂ କେବେ ମାର୍କ୍ କଲେ ଲେଖା ଥିବା ଦରକାର।

ଆପଣଙ୍କର ସ୍କ୍ରିନ୍ ଠାରୁ ଏକ ରେଟିଂ ବ୍ୟାଚ୍ କୁ ଟ୍ରେନିଂ ରନ୍ ପର୍ଯ୍ୟନ୍ତ ଅନୁସରଣ କରନ୍ତୁ, ଏବଂ ଯାତ୍ରାରେ ଥିବା ଚେକ୍ ଗୁଡିକୁ ନାମକରଣ କରନ୍ତୁ।

ଆପଣଙ୍କର ବ୍ୟାଚ୍ ଅନ୍ୟମାନଙ୍କ ସହିତ ମିଶାଯାଏ ଏବଂ ପରେ ବିଭକ୍ତ ହୁଏ: ଅଧିକାଂଶ ରନ୍ କୁ ଯାଏ, କିଛି ଅଲଗା ରଖାଯାଏ।
ଅଲଗା ରଖାଯାଇଥିବା ଅଂଶ ସେଇ ସମୟରେ ବ୍ୟୟ ହୁଏ ଯେତେବେଳେ କେହି ତାହାର ତ୍ରୁଟିଗୁଡିକୁ ପଢ଼ି ସମ୍ପାଦନା କରେ।
କିଏ ଏବଂ କେବେ ମାର୍କ୍ କଲେ ଲେଖନ୍ତୁ, କାରଣ ନାମ ବିନା ବ୍ୟାଚ୍ ପରେ ଯାଞ୍ଚ କରାଯାଇପାରିବ ନାହିଁ।

Task

ଏକ ଟିମ୍ ପଚାରେ ଗତ ମାସର ୧୨୦୦ ମାର୍କ୍ କରାଯାଇଥିବା ଜୋଡ଼ାଗୁଡିକ ନୂତନ ମଡେଲ୍ ପରୀକ୍ଷା ପୂର୍ବରୁ କେଉଁଠି ଗଲା।

Weak approach କହେ ସେମାନେ ସବୁ ଟ୍ରେନିଂ ରନ୍ ଭିତରକୁ ଗଲେ, ଏବଂ ନୂତନ ମଡେଲ୍ ଭଲ ଉତ୍ତର ଦେଉଛି, ତେଣୁ ମାର୍କିଂ କାମ କରିଛି। କୌଣସି ବ୍ୟାଚ୍, ଗଣନା କିମ୍ବା ତାରିଖ ନାହିଁ।

Stronger approach ସେମାନଙ୍କୁ ଟ୍ରେସ୍ କରେ: ୧୦୦୦ ରନ୍ ଭିତରେ, ୨୦୦ ଅଲଗା ରଖାଯାଇଛି। ସେ ୨୦୦ ମଧ୍ୟରୁ ୨ ଜଣେ ସମ୍ପାଦନା ସମୟରେ ପଢ଼ିଥିଲେ, ତେଣୁ ରିପୋର୍ଟରେ ୧୯୮ ଲେଖାଯାଇଛି।

Why the stronger approach works ଦୁର୍ବଳ ଟ୍ରେସ୍ ମଡେଲ୍ ଭଲ ଲାଗିବା ପର୍ଯ୍ୟନ୍ତ ରୁକିଯାଏ। ଶକ୍ତିଶାଳୀ ଟ୍ରେସ୍ କହେ କଣ ଅଲଗା ରଖାଯାଇଛି ଏବଂ କଣ ବ୍ୟୟ ହୋଇଛି।

Try a changed situation ଏକ ସହଯୋଗୀ ସଂସ୍ଥା ଆପଣଙ୍କ ଅଲଗା ରଖାଯାଇଥିବା ଅଂଶରୁ ଗୋଟିଏ ସଂଖ୍ୟା ଚାହାଁଛି। ତାହାର ୬ଟି ଆଇଟମ୍ ଗାଇଡଲାଇନ୍ ସମ୍ପାଦନା ସମୟରେ ପଢ଼ାଯାଇଛି।

Make something yourself ଆପଣ ଯେଉଁ ବ୍ୟାଚ୍ ଉପରେ କାମ କରିଥିଲେ ସେଥିର ପଥ ଅଙ୍କନ କରନ୍ତୁ। କିଏ ମାର୍କ୍ କଲେ, କଣ ଟ୍ରେନ୍ କରାଗଲା, କଣ ଅଲଗା ରଖାଗଲା, କଣ ବ୍ୟୟ ହେଲା।

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)