ଉତ୍ତର ଲେଖନ କରନ୍ତୁ, ତାପରେ ତିନିଟି ପ୍ରୟାସ ମାର୍କ କରନ୍ତୁ

What this lesson is about

ଆପଣଙ୍କର ସ୍କୋରିଂ ଗାଇଡ୍ ଯାହା ସମ୍ମୁଖୀନ ହୁଏ, ସେହି ରେଫରେନ୍ସ ଉତ୍ତର ଲେଖନ କରନ୍ତୁ, ତାପରେ ତାହା ସହିତ ତିନିଟି ପ୍ରୟାସ ମାର୍କ କରନ୍ତୁ।

ଆପଣଙ୍କର ପ୍ରୋଜେକ୍ଟ ଶୁକ୍ରବାର ପର୍ଯ୍ୟନ୍ତ ୪୦ଟି ଉତ୍ତର ମାପିବାକୁ ଚାହୁଁଛି, କିନ୍ତୁ ସେଗୁଡ଼ିକୁ ମାପିବା ପାଇଁ କିଛି ନାହିଁ। ପ୍ରଥମେ କ’ଣ କରିବେ?

Why this matters

ଲେଖାଯାଇଥିବା ଉତ୍ତର ବିନା ମାର୍କିଂ ଭ୍ରମରେ ପଡ଼େ: ତୃତୀୟ ଉତ୍ତର ଦ୍ୱିତୀୟ ଉତ୍ତର ସହିତ ତୁଳନା କରାଯାଉଛି, କାର୍ଯ୍ୟ ସହିତ ନୁହେଁ। ମଡେଲ୍ ଗ୍ରେଡର୍ ଉପରେ ପ୍ରକାଶିତ କାମ ମଧ୍ୟ ଏହି କାରଣରୁ ଗ୍ରେଡର୍ କୁ ରେଫରେନ୍ସ ଉତ୍ତର ଦିଆଯାଏ। ଆପଣଙ୍କର ଉତ୍ତର ହେଉଛି ସେହି ସୁନାମି ମାନକ ଯାହା ତାଲିକା ଆପଣଙ୍କୁ ଦେବାକୁ କହୁଛି।

ପ୍ରଥମେ ରେଫରେନ୍ସ ଉତ୍ତର ଲେଖନ କରନ୍ତୁ, ତାପରେ ତିନିଟି ପ୍ରୟାସକୁ ତାହା ସହିତ ମାର୍କ କରନ୍ତୁ।

ପ୍ରଥମେ ଉତ୍ତର ଲେଖନ କରନ୍ତୁ; ରେଫରେନ୍ସ ଉତ୍ତର ବିନା ତୃତୀୟ ମାମଲା ପର୍ଯ୍ୟନ୍ତ ମାର୍କିଂ ଭ୍ରମରେ ପଡ଼ିଯାଏ।
ଉତ୍ତର ସହିତ ମାର୍କ କରନ୍ତୁ, ଉତ୍ତର କେମିତି ଶୁଣାଯାଉଛି ତାହା ନୁହେଁ।
ପ୍ରତ୍ୟେକ ମାର୍କ ନିର୍ଣ୍ଣୟ କରିଥିବା ଏକ ଲାଇନ୍ ଲେଖନ୍ତୁ, ଯାହା ଦ୍ୱିତୀୟ ମାର୍କର୍ ମତଭେଦ କରିପାରିବ।

Task

ଲୋଟାଯାଇଥିବା କାର୍ଟନ୍ ଟାସ୍କକୁ ତିନିଟି ଉତ୍ତର ଆସିଛି, ଏବଂ ସମସ୍ତେ କ୍ରେଡିଟ୍ ଅସ୍ୱୀକାର କରୁଛନ୍ତି।

Weak approach ତିନିଟି ଉତ୍ତର ପଢ଼ି ସବୁଠାରୁ ଲମ୍ବାଟିକୁ ପ୍ରଥମେ ରଖେ, କାରଣ ସେହି ନୀତିକୁ ବିସ୍ତାରରେ ବ୍ୟାଖ୍ୟା କରୁଛି। ସେ ଏକ ପ୍ରବନ୍ଧକ ପରି ଶୁଣାଯାଉଛି। ଚାରି ଲାଇନ୍ ଥିବା ଉତ୍ତରକୁ ସରଳ ଭାବେ ସବୁଠାରୁ କମ୍ ମାର୍କ ଦିଏ।

Stronger approach ପ୍ରତ୍ୟେକ ଉତ୍ତରକୁ ରେଫରେନ୍ସ ଉତ୍ତର ସହିତ ତୁଳନା କରେ। ଲମ୍ବା ଉତ୍ତର ଭୁଲ କାରଣରେ କ୍ରେଡିଟ୍ ଅସ୍ୱୀକାର କରୁଛି, ତେଣୁ ପ୍ରଥମ ଲାଇନ୍ ମାର୍କ ହାରାଏ। ଚାରି ଲାଇନ୍ ଥିବା ଉତ୍ତର ସଠିକ୍ ଭାବରେ ସଠିକ୍ ଦିନ ଓ ରିଷ୍ଟକିଂ ଚାର୍ଜ୍ ଉଲ୍ଲେଖ କରି ସର୍ବୋଚ୍ଚ ମାର୍କ ନେଇଥାଏ।

Why the stronger approach works ଦୁର୍ବଳ ମାର୍କର୍ ଉତ୍ତରଗୁଡିକୁ ଆପସରେ ତୁଳନା କରିଥିଲେ। ଶକ୍ତିଶାଳୀ ମାର୍କର୍ ପ୍ରତ୍ୟେକ ଉତ୍ତରକୁ ରେଫରେନ୍ସ ଉତ୍ତର ସହିତ ମିଳାଇଥିଲେ, ତେଣୁ ଦ୍ୱିତୀୟ ମାର୍କର୍ ତାଙ୍କର କାମ ଯାଞ୍ଚ କରିପାରିଲେ।

Try a changed situation ଏକ ମିଡିଆ ଡେସ୍କ ଆପଣଙ୍କୁ ଏକ ଏକାଧିକ ପ୍ରେସ୍ ନୋଟର ଦୁଇଟି ସମାଚାର ସାର ମାପିବାକୁ କହୁଛି। ଗୋଟିଏ ଚିକ୍କଣ, ଅନ୍ୟଟି ସାଧାରଣ।

Make something yourself ପ୍ରଥମ ପାଠରୁ ଆପଣଙ୍କର ନିଜ ଟାସ୍କ ନିଅନ୍ତୁ। ତାହାର ରେଫରେନ୍ସ ଉତ୍ତର ଲେଖନ କରନ୍ତୁ, ତାପରେ ତିନିଟି ଉତ୍ତରକୁ ତାହା ସହିତ ମାର୍କ କରନ୍ତୁ। ପ୍ରତ୍ୟେକ ମାର୍କ ପାଇଁ ନିର୍ଣ୍ଣୟ କରିଥିବା ଏକ ଲାଇନ୍ ଲେଖନ୍ତୁ।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)