ପରିବର୍ତ୍ତନ କରିବା ପୂର୍ବରୁ ଏହାକୁ ମାପନ୍ତୁ

What this lesson is about

ଆପଣଙ୍କର ନିଜ ୫୦ଟି ଉଦାହରଣରେ ଏହା କିପରି କାମ କରେ ଲେଖନ୍ତୁ। ସେହି ସଂଖ୍ୟା ହେଉଛି ଆପଣଙ୍କର ପରିବର୍ତ୍ତନକୁ ମୂଲ୍ୟାଙ୍କନ କରିବା ପାଇଁ ଏକମାତ୍ର ଆଧାର।

ଆପଣ ଏକ ଛୋଟ ମଡେଲ୍‌କୁ ଦିଆଯାଉଥିବା ନିର୍ଦ୍ଦେଶକୁ ପୁନଃଲିଖିବାକୁ ଯାଉଛନ୍ତି ଯାହା ତାହାର Hindi ଉତ୍ତରଗୁଡ଼ିକୁ ଭଲ କରିବ। ପ୍ରଥମେ କ’ଣ କରିବେ?

Why this matters

Hugging Face ର ନିର୍ଦ୍ଦେଶ ଏହାକୁ ନିର୍ଦ୍ଦେଶ କରେ ଯେ ଯେଉଁ ଉଦାହରଣରେ ଜିନିଷ ତିଆରି ହୋଇଛି ସେହି ଉଦାହରଣରେ ପରୀକ୍ଷା କରିବା ଠିକ୍ ନୁହେଁ। ସ୍କୋର ଭଲ ଦେଖାଯାଏ କିନ୍ତୁ ତାହାର କୌଣସି ଅର୍ଥ ନାହିଁ। ତାରିଖ ଓ ସଂସ୍କରଣ ବିନା ସଂଖ୍ୟା କୌଣସି ସହିତ ତୁଳନୀୟ ନୁହେଁ।

ଆପଣ ନିଜ ଉଦାହରଣରେ ଏକ ମଡେଲକୁ ମାପି ପାରିବେ ଏବଂ ଏହାର ଚାଳନାକୁ ରେକର୍ଡ କରି ପରବର୍ତ୍ତୀ ଥର ତୁଳନା କରିପାରିବେ।

ପରିବର୍ତ୍ତନ କରିବା ପୂର୍ବରୁ ଆପଣଙ୍କର ନିଜ ୫୦ଟି ଉଦାହରଣରେ ଏହା କିପରି କାମ କରେ ଲେଖନ୍ତୁ।
ଯେଉଁ କଠିନ ମାମଲା ଆପଣ ଭାବୁଛନ୍ତି ଯେ ଏହା ଭୁଲ କରିବ, ସେଗୁଡିକୁ ମଧ୍ୟ ଶାମିଲ କରନ୍ତୁ, ନହେଲେ ସ୍କୋର ଏହାକୁ ଅଧିକ ଭଲ ଦେଖାଏ।
ସ୍କୋର ସହିତ ତାରିଖ, ମଡେଲ ସଂସ୍କରଣ ଏବଂ ଇନପୁଟ୍ ମଧ୍ୟ ରେକର୍ଡ କରନ୍ତୁ।

Task

ଆପଣ ଏକ ଛୋଟ ମଡେଲକୁ ଦିଆଯାଉଥିବା ନିର୍ଦ୍ଦେଶକୁ ପରିବର୍ତ୍ତନ କରିବାକୁ ଯାଉଛନ୍ତି, ଯାହା ତାହାର ହିନ୍ଦୀ ଉତ୍ତରଗୁଡିକୁ ସୁଧାରିବ।

Weak approach ନିର୍ଦ୍ଦେଶ ପରିବର୍ତ୍ତନ କରିବା, ପାଞ୍ଚଟି ଉତ୍ତର ପଢ଼ିବା, ଏବଂ ମନେ କରିବା ଯେ ହିନ୍ଦୀ ଏବେ ଭଲ। ପୁରୁଣା ନିର୍ଦ୍ଦେଶର ମାପ ଲେଖାଯାଇନଥିଲା, ସେହିପାଇଁ 'ଭଲ' ବୋଲି କିଛି ତୁଳନା କରିବାକୁ ନାହିଁ।

Stronger approach ପ୍ରଥମେ ନିଜ ୫୦ଟି ସନ୍ଦେଶରେ ସ୍କୋର କରିବା, ତାରିଖ ଏବଂ ସଂସ୍କରଣ ଲେଖିବା, ଏବଂ ପରେ ମାତ୍ର ଗୋଟିଏ ଜିନିଷ ପରିବର୍ତ୍ତନ କରିବା।

Why the stronger approach works ପ୍ରଥମ ସ୍କୋର ବିନା, ଭଲ ହେବା ହେଉଛି ଏକ ଅନୁଭୂତି। ସେହି ସହିତ, ପରିବର୍ତ୍ତନ ହେଉଛି ଏକ ସଂଖ୍ୟା ଯାହାକୁ ଆପଣ କାହାକୁ ଦେଖାଇ ପାରିବେ।

Try a changed situation ଏକ ସହେଳୀ ତାଙ୍କର ନୂତନ ପାଠଦାନ ପ୍ରଣାଳୀ କାମ କରୁଛି ବୋଲି ପ୍ରମାଣ କରିବାକୁ ଚାହାଁଛନ୍ତି। ସେ ତାଙ୍କର ପଢ଼ାଇଥିବା ସେହି ୧୦ଟି ପ୍ରଶ୍ନରେ ପରୀକ୍ଷା କରିବାକୁ ଯୋଜନା କରୁଛନ୍ତି। ଆପଣ ସେଉଁଠାରେ କ’ଣ କହିବେ?

Make something yourself ଏକ ମଡେଲର ପ୍ରଥମ ମାପନ କରନ୍ତୁ। ନିଜ ୫୦ଟି ଇନପୁଟ୍, ଆପଣ ଆଶା କରିଥିବା ଉତ୍ତର, ଏବଂ ମଡେଲ କ’ଣ ଦେଲା ଲେଖନ୍ତୁ। ସହିତ ଆପଣଙ୍କର ସ୍କୋର, ତାରିଖ ଏବଂ ସଂସ୍କରଣ ଯୋଗ କରନ୍ତୁ।

Read the primary or official source: Hugging Face Evaluate · considerations for model evaluation