ଏମିତି ଏକ ମୂଲ୍ୟାଙ୍କନ ଡିଜାଇନ କରନ୍ତୁ ଯାହା ବିଫଳ ହେବା ସମ୍ଭବ

What this lesson is about

ସହଜ, କଠିନ ଏବଂ ସଂଶୟସ୍ପଦ ଆଇଟମ୍‌ମାନେ ଥିବା ଏକ ଛୋଟ ଚେକ୍ ସେଟ୍ ତିଆରି କରନ୍ତୁ। ତାପରେ ପାସ୍ ସ୍କୋରର ଅର୍ଥ ଥାଏ।

ହିନ୍ଦୀ ବସ୍ ସମୟସୂଚୀ ସହାୟକ ପାଇଁ ତୁମର ଦଶଟି ପରୀକ୍ଷା ପ୍ରଶ୍ନ ସବୁ ଏହା ପୂର୍ବରୁ ଠିକ୍ ଉତ୍ତର ଦେଇଥିବା ପ୍ରଶ୍ନ। ଚାଲାଇବା ପୂର୍ବରୁ ତୁମେ କ’ଣ ପରିବର୍ତ୍ତନ କରିବା?

Why this matters

ସିଷ୍ଟମ୍ ତିଆରି ହେବା ପରେ ଚୟନ କରାଯାଇଥିବା ଚେକ୍ ସେଟ୍ ସାଧାରଣତଃ ପୂର୍ବରୁ ନିଆଯାଇଥିବା ନିର୍ଣ୍ଣୟଗୁଡ଼ିକୁ ମାପେ।

ଏମିତି ଏକ ଛୋଟ ଚେକ୍ ସେଟ୍ ତିଆରି କରନ୍ତୁ ଯାହାର ସ୍କୋର ହ୍ରାସ ପାଇପାରେ, ଏବଂ ପ୍ରତ୍ୟେକ ଆଇଟମ୍ କ’ଣ ପରୀକ୍ଷା କରେ ସେଥିରେ ପୂର୍ବରୁ କହନ୍ତୁ।

ସେହି ଆଇଟମ୍ ରଖନ୍ତୁ ଯାହାରେ ସିଷ୍ଟମ୍ ଆଜି ବିଫଳ ହେବା ଉଚିତ।
ଚେକ୍ ଚାଲାଇବା ପୂର୍ବରୁ ଆଶାକୃତ ଉତ୍ତର ଲେଖନ୍ତୁ।
ପ୍ରତ୍ୟେକ ଆଇଟମ୍ କୁ ସହଜ, କଠିନ କିମ୍ବା ସଂଶୟସ୍ପଦ ଭାବରେ ଲେବେଲ୍ କରନ୍ତୁ।

Task

ହିନ୍ଦୀ ବସ୍ ସମୟସୂଚୀ ସହାୟକ ପାଇଁ ଦଶଟି ଆଇଟମ୍ ଥିବା ଏକ ସେଟ୍।

Weak approach ହେଲ୍ପଲାଇନର ନିଜ କଲ୍ ଲଗ୍ ରୁ ଦଶଟି ସତ୍ୟ ପ୍ରଶ୍ନ ସଂଗ୍ରହ କରେ। କିଛି ଚଲାଇବା ପୂର୍ବରୁ ପ୍ରତ୍ୟେକ ପ୍ରଶ୍ନ ପାଇଁ ଆଶା କରାଯାଇଥିବା ଉତ୍ତର ଲେଖିଥାଏ। ସମସ୍ତ ଦଶଟି ଠିକ୍ ଆସେ। ସମସ୍ତ ଦଶଟି ପ୍ରଶ୍ନ ସହାୟକ ପୂର୍ବରୁ ଉତ୍ତର ଦେଇଥିବା ପ୍ରଶ୍ନ, ତେଣୁ ଏହି ସେଟ୍ କୌଣସି ଅଙ୍କ ହାରାଇବାର ସମ୍ଭାବନା ନାହିଁ।

Stronger approach ଚାରିଟି ଦୈନନ୍ଦିନ ପ୍ରଶ୍ନ। ଚାରିଟି ପରିଚିତ ବିଫଳତା, ଯେପରିକି ରାତିର ବସ୍ ଏବଂ ପୁନର୍ନାମିତ ଷ୍ଟପ୍। ଦୁଇଟି ଯାହାରେ କର୍ମଚାରୀମାନେ ନିଜେ ମତଭେଦ କରନ୍ତି। ପ୍ରତ୍ୟେକର ଆଶାକୃତ ଉତ୍ତର ପ୍ରଥମେ ଲେଖାଯାଇଛି।

Why the stronger approach works ମଜବୁତ ସେଟ୍ ହାନି ଦେଖାଇପାରେ। ସେହିଟି ଚାଲାଇବାର ଏକମାତ୍ର କାରଣ।

Try a changed situation ଆପଣ ବର୍ତ୍ତମାନ ସାଧାରଣ ସେବା କେନ୍ଦ୍ରରେ ଏକ ଫର୍ମ ଭର୍ତ୍ତି ସହାୟକଙ୍କୁ ପରୀକ୍ଷା କରୁଛନ୍ତି। କେଉଁ ନିୟମ ଏଠାରେ ଏବେ ମଧ୍ୟ ପ୍ରୟୋଗ ହୁଏ?

Make something yourself ଆପଣ ଭଲଭାବେ ଜାଣିଥିବା କାମ ପାଇଁ ଛଅଟି ଚେକ୍ ପ୍ରଶ୍ନ ଡିଜାଇନ୍ କରନ୍ତୁ। ଦୁଇଟି ସହଜ, ଦୁଇଟି କଠିନ ଏବଂ ଦୁଇଟି ସଂଶୟସ୍ପଦ ଚିହ୍ନଟ କରନ୍ତୁ। ପରୀକ୍ଷା ଆରମ୍ଭ କରିବା ପୂର୍ବରୁ ପ୍ରତ୍ୟେକ ପ୍ରଶ୍ନର ଆଶାକୃତ ଉତ୍ତର ଲେଖନ୍ତୁ।

Read the primary or official source: Holistic Evaluation of Language Models