ଭୁଲ ଉତ୍ତରକୁ ପରୀକ୍ଷାରେ ପରିଣତ କରନ୍ତୁ

What this lesson is about

ଏକ ଭୁଲ ଉତ୍ତର ନିଅନ୍ତୁ ଏବଂ ସେହି ଆଇଟମ୍ ଲେଖନ୍ତୁ ଯାହା ଆଜି ବିଫଳ ହେଉଛି ଏବଂ ମରାମତ ପରେ ସଫଳ ହେବ।

ଆପଣ ଦେଖିଥିବେ ହେଲ୍ପଲାଇନ୍ ଗୋରଖପୁର ପାଇଁ ଭୁଲ ଭଡ଼ା ଦେଉଛି। ଆପଣଙ୍କର ସମୁହ ଆପଣଙ୍କୁ ଏହାକୁ ସଠିକ୍ ଭାବେ ରିପୋର୍ଟ୍ କରିବାକୁ କହିଛି।

Why this matters

ପ୍ରକାଶିତ କୋଡ୍ ଚେକ୍ ସେଟ୍ ଏହି ପ୍ରକାର ତିଆରି ହୁଏ। ପ୍ରତ୍ୟେକ ଆଇଟମ୍ ଏକ ପରୀକ୍ଷା ଧାରଣ କରେ ଯାହା ମରାମତ ପୂର୍ବରୁ ବିଫଳ ହୁଏ ଏବଂ ପରେ ସଫଳ ହୁଏ। ତେଣୁ ମରାମତ ସାବିତ ହୁଏ, କେବଳ ଦାବି ନୁହେଁ। ଏକ ଅଭିଯୋଗ ସାବିତ ହେବା ନାହିଁ ଏବଂ ସଠିକ୍ କରାଯାଇପାରିବ ନାହିଁ। ଏକ ଆଇଟମ୍ କାହାକୁ ମଧ୍ୟ ଦିଆଯାଇପାରେ।

ଏକ ଭୁଲ ଉତ୍ତରକୁ ଏମିତି ପରୀକ୍ଷା ଆଇଟମ୍ ରୂପେ ପରିଣତ କରନ୍ତୁ ଯାହାକୁ ଅନ୍ୟ କେହି ଚଳାଇ ସେହି ଭୁଲ ପୁଣି ଦେଖିପାରିବ।

ଏକ ପରୀକ୍ଷା ଆଇଟମ୍ ପାଇଁ ସଠିକ୍ ଇନପୁଟ୍, ଆପଣ ଆଶା କରୁଥିବା ଆଉଟପୁଟ୍, ଏବଂ ଆପଣ ଯାହା ଦେଖିଥିଲେ ସେହି ଆଉଟପୁଟ୍ ଦରକାର।
ଇନପୁଟ୍ କୁ କମାଇ କମାଇ ସବୁଠାରୁ ଛୋଟ ଭାଗ ରଖନ୍ତୁ ଯାହା ଏବେ ମଧ୍ୟ ବିଫଳ ହୁଏ।
ଆପଣଙ୍କର ଆଶାକୃତ ଆଉଟପୁଟ୍ ସଠିକ୍ କାହିଁକି ତାହା କହନ୍ତୁ, ନହେଲେ ପରବର୍ତ୍ତୀ ବ୍ୟକ୍ତି ଆଇଟମ୍ ସହିତ ବାଦବିବାଦ କରିବେ, ମଡେଲ୍ ସହିତ ନୁହେଁ।

Task

ଏକ ଦୋକାନ ସହାୟକ 12.3499 ଫେରାଇଲେ, ଯେଉଁଠାରେ ବିଲ୍ ରେ ପଇସା ଦରକାର। ଏହାକୁ ପରୀକ୍ଷା ଆଇଟମ୍ ରୂପେ ପରିଣତ କରନ୍ତୁ।

Weak approach ଏକ ଟିପ୍ପଣୀ ଦାଖଲ କରେ ଯେ ସହାୟକ ଟଙ୍କାରେ ଦୁର୍ବଳ ଏବଂ ପଇସା ଭୁଲ କରେ। ଆଲୋଚନାର ଏକ ଛବି ଲଗାଇ ମରାମତ ପାଇଁ ଅନୁରୋଧ କରେ।

Stronger approach ସଠିକ୍ ଅନୁରୋଧ, ଆଶାକୃତ 12.35, ଦେଖାଯାଇଥିବା 12.3499, ଏବଂ ନିୟମ ଯେ ବିଲ୍ ଦୁଇ ଦଶମିକ ସ୍ଥାନ ଧରିଥାଏ ଦିଏ। ଅନୁରୋଧକୁ ଏକ ଲାଇନ୍ କରି କମାଇ ଯାହା ଏବେ ମଧ୍ୟ ବିଫଳ ହୁଏ।

Why the stronger approach works ଦୁହେଁ ଏକେ ତ୍ରୁଟି ରିପୋର୍ଟ୍ କରନ୍ତି। କେବଳ ଶକ୍ତିଶାଳୀ ଉତ୍ତରକୁ ସେହି ବ୍ୟକ୍ତି ଚଳାଇପାରିବେ ଯିଏ ସେହି ଆଲୋଚନା ଦେଖିନଥିଲେ।

Try a changed situation ଆପଣଙ୍କର ଆଇଟମ୍ ଚାରି ପୃଷ୍ଠା ଇନପୁଟ୍ ଉପରେ ବିଫଳ ହୁଏ। ଏକ ସହକର୍ମୀ କହୁଛନ୍ତି ସେମାନେ ଜାଣିପାରୁନାହାନ୍ତି କେଉଁ ଅଂଶ ଏହାକୁ ଭଙ୍ଗ କରୁଛି।

Make something yourself ଏହି ସପ୍ତାହରେ ଆପଣ ମିଳିଥିବା ଏକ ଭୁଲ ଉତ୍ତର ନିଅନ୍ତୁ। ଏହାକୁ ପରୀକ୍ଷା ଆଇଟମ୍ ଭାବେ ଲେଖନ୍ତୁ: ଇନପୁଟ୍, ଆଶାକୃତ ଆଉଟପୁଟ୍, ଦେଖାଯାଇଥିବା ଆଉଟପୁଟ୍, ଏବଂ କାରଣ।

Read the primary or official source: Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv)