আলাদা রাখা সেট আলাদা রাখুন

What this lesson is about

যখন টেস্টের ফলাফল সিস্টেম ঠিক করতে ব্যবহার করা হয়েছে তা চিহ্নিত করুন। তারপর সৎভাবে আলাদা রাখা সেটটি পুনর্গঠন করুন।

আপনার দল পঞ্চাশটি প্রশ্ন আলাদা রেখেছিল। আপনি বারোটি যা ভুল হয়েছে পড়ে নির্দেশনা পরিবর্তন করেছেন। আপনি কোন স্কোর রিপোর্ট করবেন?

Why this matters

একটি আলাদা রাখা সেট — এমন প্রশ্ন যা সিস্টেম কখনো তৈরি হয়নি — দ্রুত শেষ হয়ে যায়। এটি শেষ হয় প্রথমবার যখন কেউ এর ব্যর্থতা পড়ে এবং সিস্টেম সম্পাদনা করে।

বলা যাবে কোন মূল্যায়ন আইটেম এখনও প্রমাণ বহন করে, এবং যখন সেটটি ঠিক করতে ব্যবহার হয়েছে তখন সেটটি পুনর্গঠন করতে হবে।

যে আইটেম সিস্টেম ঠিক করতে ব্যবহার হয়েছে তা আর তার প্রমাণ নয়।
প্রতিটি আইটেম কোন কাজে এবং কখন ব্যবহার হয়েছে তা রেকর্ড করুন।
পরবর্তী রাউন্ডের আগে আলাদা রাখা সেট পুনরায় পূরণ করুন; পুনরায় ব্যবহার করবেন না।

Task

পঞ্চাশটি আলাদা রাখা প্রশ্ন। বারোটি ব্যর্থতা পড়ে নির্দেশনা পরিবর্তন করা হয়েছে।

Weak approach যাচাই করে যে পঞ্চাশটি প্রশ্নের মধ্যে কোনোটি সম্পাদিত হয়নি, এবং কোনোটি হয়নি। সব পঞ্চাশটির স্কোর রিপোর্ট করে এবং এখনও সেটটিকে আলাদা রাখা হয়েছে বলে বলে। তাদের মধ্যে বারোটি পড়া হয়েছিল যখন নির্দেশাবলী পরিবর্তিত হচ্ছিল, তাই সেই বারোটি এখন মেরামতটি মাপছে।

Stronger approach অপরিবর্তিত অড়ত্রিশটি আলাদা রাখা স্কোর হিসেবে রিপোর্ট করে। বারোটি ঠিক করা আইটেম হিসেবে চিহ্নিত করে এবং নতুন আইটেম সংগ্রহ করে।

Why the stronger approach works সৎ সংখ্যা ছোট এবং অর্থবহ। বড় সংখ্যা দলের নিজস্ব সংস্কার পরিমাপ করে।

Try a changed situation একটি স্কুল এখন মডেল নয়, নতুন শিক্ষাদানের পদ্ধতি বিচার করছে। কোন নিয়ম এখনও প্রযোজ্য?

Make something yourself আপনি যে কোনো পরীক্ষা বা মাসিক রিপোর্ট পর্যালোচনা পুনরাবৃত্তি করেন তা নিন। লিখুন কোন আইটেমগুলি আপনি ইতিমধ্যে ঠিক করতে ব্যবহার করেছেন। তারপর লিখুন কীভাবে আপনি একটি পরিষ্কার সেট সংগ্রহ করবেন।

Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)