ନିଶାନ ଲାଗାଉଥିବା ମଡେଲ୍‌କୁ ଯାଞ୍ଚ କରନ୍ତୁ

What this lesson is about

ନିଶାନ ଲାଗାଉଥିବା ମଡେଲ୍‌କୁ ଆପଣଙ୍କର ନିଶାନ ସହିତ ମାପନ୍ତୁ, ଏବଂ ସେହି ତିନିଟି ଅଭ୍ୟାସକୁ ପରୀକ୍ଷା କରନ୍ତୁ ଯାହା ତାହାର ଆଙ୍କକୁ ଅମୂଲ୍ୟ କରେ।

ଆପଣଙ୍କର କ୍ରେତା ପ୍ରତି ସପ୍ତାହେ ଦୁଇ ହଜାର ଉତ୍ତର ଚିହ୍ନିତ କରିବାକୁ ଚାହାଁଛନ୍ତି ଏବଂ ଏହା ପାଇଁ ଏକ ମଡେଲ୍ ଦେଉଛନ୍ତି। ଆପଣ କେଉଁଠୁ ଆରମ୍ଭ କରିବେ?

Why this matters

ଏକ ମଡେଲ୍ ଏକ ଦଳ ତୁଳନାରେ ଅଧିକ ଉତ୍ତର ଚିହ୍ନିତ କରିପାରେ। ପ୍ରକାଶିତ ଏକ ଅଧ୍ୟୟନରେ ଏକ ଶକ୍ତିଶାଳୀ ମଡେଲ୍ ଲୋକଙ୍କ ସହିତ ପ୍ରାୟ 80% ସମୟ ସମ୍ମତି ଦେଖାଇଛି, ଯାହା ଦୁଇ ଲୋକଙ୍କ ସମ୍ମତି ସମାନ। ସେହି ଅଧ୍ୟୟନରେ ପରୀକ୍ଷା କରିବାକୁ ତିନିଟି ଅଭ୍ୟାସ ଉଲ୍ଲେଖିତ: ଲମ୍ବା ଉତ୍ତର ଜିତେ, ପ୍ରଥମ ଦେଖାଯାଇଥିବା ଉତ୍ତର ଜିତେ, ଏବଂ ମଡେଲ୍ ତାଙ୍କର ନିଜ ଲେଖାକୁ ପସନ୍ଦ କରେ।

ଉତ୍ତର ଚିହ୍ନିତ କରୁଥିବା ମଡେଲ୍‌କୁ ଆପଣଙ୍କର ନିଶାନ ସହିତ ଯାଞ୍ଚ କରନ୍ତୁ, ତାହା ପରେ ତାହାର ଏକ ଆଙ୍କ ଉପରେ ବିଶ୍ୱାସ କରନ୍ତୁ।

ପ୍ରଥମେ ହାତରେ ଏକ ସେଟ୍ ଚିହ୍ନିତ କରନ୍ତୁ, ତାପରେ ମଡେଲ୍ କେତେବେଳେ ଆପଣଙ୍କ ସହିତ ସମ୍ମତି ହୁଏ ଗଣନା କରନ୍ତୁ।
ତିନିଟି ଅଭ୍ୟାସ ପରୀକ୍ଷା କରନ୍ତୁ: ଲମ୍ବା ଉତ୍ତର ଜିତିବା, ପ୍ରଥମ ଉତ୍ତର ଜିତିବା, ଏବଂ ମଡେଲ୍ ତାଙ୍କର ନିଜ ଲେଖାକୁ ପସନ୍ଦ କରିବା।
ସମ୍ମତି ଆଙ୍କକୁ ଗଣନା ସହିତ ପ୍ରକାଶ କରନ୍ତୁ, କେବଳ ମଡେଲ୍‌ର ନମ୍ବର ଏକାକାରେ ନୁହେଁ।

Task

ଏକ ଟିମ୍ ପ୍ରତି ସପ୍ତାହେ ଦୁଇ ହଜାର ହିନ୍ଦୀ ଉତ୍ତର ଚିହ୍ନିତ କରିବାକୁ ଚାହାଁଛି।

Weak approach ସମସ୍ତ ଦୁଇ ହଜାର ଉପରେ ମଡେଲ୍ ଚଳାଇଥାଏ, ପାସ୍ ହେବାର ହାର ରିପୋର୍ଟ କରେ, ଏବଂ କହେ କିଛି ଉପରେ ନିଶାନ ସମ୍ବେଦନଶୀଳ ଲାଗିଲା। କୌଣସି ଉପରେ ହାତରେ ନିଶାନ ଲାଗାଉନାହିଁ।

Stronger approach ପ୍ରଥମେ ଏକାଶୀଟି ଉପରେ ହାତରେ ନିଶାନ ଲାଗାଏ। ମଡେଲ୍ ସେଠାରେ ସଠିକ୍ ହେବାରେ ସଠିକ୍ ହେଉଛି 62, ଏବଂ 18 ଭିନ୍ନତାରୁ 14 ଟି ଲମ୍ବା ଉତ୍ତର ପକ୍ଷରେ ଯାଉଛି। ଅନ୍ୟ ଉତ୍ତରଗୁଡିକୁ ଚଳାଇବା ପୂର୍ବରୁ ଦୁଇଟି ଗଣନା ରିପୋର୍ଟ କରେ।

Why the stronger approach works ଦୁହେଁ ମଡେଲ୍ ବ୍ୟବହାର କରିଛନ୍ତି। କେବଳ ଶକ୍ତିଶାଳୀ ଉତ୍ତର ଏହାର ମୂଲ୍ୟ କହିପାରିବ।

Try a changed situation ମଡେଲ୍ ସୋ ଜୋଡିରେ ସାତଟିରେ ପ୍ରଥମ ଦେଖାଯାଇଥିବା ଉତ୍ତରକୁ ଶୀର୍ଷରେ ରଖେ। ଆପଣଙ୍କର ନିଜ ନିଶାନ ସମାନ ଭାଗରେ ବିଭକ୍ତ।

Make something yourself ଚାଳିଶିଟି ଉତ୍ତର ହାତରେ ଚିହ୍ନିତ କରନ୍ତୁ, ତାପରେ ସେହି ଚାଳିଶିଟି ଉପରେ ମଡେଲ୍‌କୁ ଚିହ୍ନିତ କରାନ୍ତୁ। ସମ୍ମତି ରିପୋର୍ଟ କରନ୍ତୁ ଏବଂ ବିଭାଜନ ପଛରେ ଥିବା ଅଭ୍ୟାସର ନାମ କହନ୍ତୁ।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)