ପସନ୍ଦ ବ୍ୟାଚ୍ ର ନିରୀକ୍ଷଣ କରନ୍ତୁ

What this lesson is about

ପସନ୍ଦ ଚିହ୍ନ ଥିବା ବ୍ୟାଚ୍ ଖୋଲନ୍ତୁ ଏବଂ ଗଣନା କରନ୍ତୁ କେଉଁ ତ୍ରୁଟି ଏକ ସ୍କୋରର ଏଠାରୁ ଶିଖିପାରିବ, ତାପରେ ନୋଟ୍ ଲେଖନ୍ତୁ।

୯୦୦ ଚିହ୍ନିତ ଜୋଡ଼ିର ବ୍ୟାଚ୍ ଆପଣଙ୍କ ଡେସ୍କ୍ ଉପରେ ଆସିଛି ପ୍ରୟୋଗଶାଳାକୁ ଯିବା ପୂର୍ବରୁ। ଆପଣ ପ୍ରଥମେ କ’ଣ ଗଣନା କରିବେ?

Why this matters

ଏକ ପ୍ରକାଶିତ ସହାୟକ ପ୍ରକଳ୍ପ ଏକ ଲ୍ୟାବ୍ ର ନିଜ ଗବେଷକ ଏବଂ ତାଙ୍କର ପ୍ରଦତ୍ତ ରିଭ୍ୟୁଅର ମଧ୍ୟରେ ପ୍ରାୟ 63% ସମ୍ମତି ମାପିଥିଲେ। ଏହା କଠିନ ମାମଲାରେ ସାବଧାନ କାମ କିପରି ହୁଏ ତାହା ଦେଖାଏ। ତେଣୁ ଯେଉଁ ବ୍ୟାଚ୍ ପ୍ରାୟ ସମ୍ପୂର୍ଣ୍ଣ ସମ୍ମତି ଦେଖାଏ, ସେହି ବ୍ୟାଚ୍ ପ୍ରଥମେ ଖୋଲନ୍ତୁ। ଆପଣ ଯାହା ଖୋଜୁଛନ୍ତି ସେହି ଆଦତ ଯାହା ସ୍କୋରର ଅନୁକରଣ କରିବ।

ପସନ୍ଦ ଚିହ୍ନ ଥିବା ବ୍ୟାଚ୍ ର ତ୍ରୁଟିଗୁଡିକୁ ନିରୀକ୍ଷଣ କରନ୍ତୁ ଯାହା ସ୍କୋରର ଶିଖିବ, ଏବଂ ସେହି ସହିତ ଯାଉଥିବା ଟୀପ୍ପଣୀ ଲେଖନ୍ତୁ।

ତିନିଟି ତ୍ରୁଟି ସ୍କୋରରକୁ ବିନାଶ କରେ: ଲମ୍ବା ଜିତ, ପ୍ରଦର୍ଶିତ ପ୍ରଥମ ଉତ୍ତର ଜିତ, ଏବଂ ଗୋଟିଏ ରିଭ୍ୟୁଅର ଏକାକୀ ମାର୍କିଂ।
ପ୍ରାୟ-ସମ୍ପୂର୍ଣ୍ଣ ସମ୍ମତି ପୁରସ୍କାର ନୁହେଁ, ସତର୍କତା, କାରଣ କଠିନ ମାମଲାରେ ସାବଧାନ ଲୋକମାନେ ବିଭକ୍ତ ହୁଅନ୍ତି।
ଗଣନାଗୁଡିକୁ ନମୁନା ଆକାର ସହିତ ରିପୋର୍ଟ କରନ୍ତୁ, ଏବଂ କେଉଁ ତ୍ରୁଟି ପରୀକ୍ଷା କରିପାରିନଥିଲେ ତାହା କୁହନ୍ତୁ।

Task

ସ୍ୱାସ୍ଥ୍ୟ ସହାୟତା ହେଲ୍ପଲାଇନର ୯୦୦ ପସନ୍ଦ ଜୋଡ଼ିରୁ ୬୦ ଜୋଡ଼ି ନିରୀକ୍ଷଣ କରନ୍ତୁ, ସେମାନେ ପ୍ରଶିକ୍ଷଣ ପାଇଁ ଯିବା ପୂର୍ବରୁ।

Weak approach ଷାଠ ଜୋଡ଼ି ପଢ଼ି ସମସ୍ତ ଚିହ୍ନକୁ ବୁଝିପାରିଛି ବୋଲି ମନେ କରେ, ଏବଂ ଲେଖେ ଯେ ବ୍ୟାଚ୍ ସଫା ଦେଖାଯାଉଛି ଏବଂ ଯାଇପାରେ। କିଛି ଗଣନା କରେନି ଏବଂ କୌଣସି ରିଭ୍ୟୁଅରଙ୍କ ନାମ ଦେଇନି।

Stronger approach ଗଣନା କରେ: ଲମ୍ବା ଉତ୍ତର ୪୮ ଥର ଜିତିଛି ଷାଠ ମଧ୍ୟରୁ, ଏବଂ ପ୍ରଦର୍ଶିତ ପ୍ରଥମ ଉତ୍ତର ୪୧ ଥର ଜିତିଛି। ଦୁହିଁଟି ଗଣନା ସହିତ ନମୁନା ଆକାର ଦେଖାଏ, ଏବଂ ୩୦ ଜୋଡ଼ିକୁ ପୁନଃ ଚିହ୍ନିତ କରିବାକୁ କହେ ଯେଉଁଥିରେ କ୍ରମ ବଦଳାଯିବ।

Why the stronger approach works ଦୁଇଜଣେ ଏହି ସେହି ୬୦ ଜୋଡ଼ି ପଢ଼ିଛନ୍ତି। ଶକ୍ତିଶାଳୀ ନିରୀକ୍ଷଣ ସେହି ପଢ଼ାକୁ ଦୁଇଟି ଗଣନାରେ ପରିଣତ କରେ ଯାହାକୁ କ୍ରୟକର୍ତ୍ତା ପରୀକ୍ଷା କରିପାରିବ।

Try a changed situation ଆପଣଙ୍କ ନମୁନାର ୬୦ କଠିନ ଜୋଡ଼ିରୁ ୫୯ ରେ ଦୁଇ ରିଭ୍ୟୁଅର ସମ୍ମତି ରହିଛି। କ୍ରୟକର୍ତ୍ତା ଏହାକୁ ଉତ୍କୃଷ୍ଟ କାମ ବୋଲି କହୁଛନ୍ତି।

Make something yourself ଗୋଟିଏ ପସନ୍ଦ ବ୍ୟାଚ୍ ର ଏକ ନମୁନା ନିରୀକ୍ଷଣ କରନ୍ତୁ। ଲମ୍ବା ଜିତ ଏବଂ ପ୍ରଦର୍ଶିତ ପ୍ରଥମ ଜିତ ଗଣନା କରନ୍ତୁ, ତାପରେ ବ୍ୟାଚ୍ ସହିତ ଯାଉଥିବା ଟୀପ୍ପଣୀ ଲେଖନ୍ତୁ।

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)