মূল্যায়ন লুপ সম্পূর্ণ করে

What this lesson is about

রাখা কাজগুলো ব্যবহার করুন — যেগুলো মডেল কখনো প্রশিক্ষণ পায়নি — এবং স্পষ্ট মানদণ্ড। পরীক্ষা করুন পরিবর্তনটি সাহায্য করেছে কিনা নতুন কোনো সমস্যা সৃষ্টি না করে।

আপনার দলের দরকার বিশটি প্রশ্ন একটি পরিবর্তন পরীক্ষা করার জন্য, আর গত মাসের প্রশিক্ষণ ফাইলটি স্ক্রিনে খোলা আছে। আপনি কী করবেন?

Why this matters

একটি পরিবর্তন এক স্কোর বাড়াতে পারে কিন্তু সঠিকতা, নিরাপত্তা বা কোনো ব্যবহারকারী গোষ্ঠীর জন্য খারাপ করতে পারে। তাই আপনি রাখার কাজের সেটে পরীক্ষা করেন — যেগুলো মডেল কখনো তৈরি হয়নি। এবং রিগ্রেশন খুঁজেন — যা আগে কাজ করত এখন ব্যর্থ।

রাখা কাজের সেটে একটি ছোট পরীক্ষা পরিকল্পনা ডিজাইন করুন, উন্নতি এবং রিগ্রেশন উভয়ের জন্য।

পরীক্ষার কাজগুলো তৈরি করার জন্য ব্যবহৃত উদাহরণ থেকে আলাদা রাখুন।
আপনি চাওয়া সুবিধা এবং যা খারাপ হতে পারে তা মাপুন।
গুরুত্বপূর্ণ ভাষা, বিষয় এবং ব্যবহারকারী গোষ্ঠী পরীক্ষা করুন।

Task

এক দল মাসিক বিল কমানোর জন্য সস্তা একটি মডেল ব্যবহার করে। আর কিছুই পরিবর্তন হয় না।

Weak approach দল যখন মডেল তৈরি করছিল তখন ব্যবহার করা পঞ্চাশটি প্রশ্ন চালায়, এবং সস্তা মডেল সব পঞ্চাশটির উত্তর দেয়। রিপোর্ট করে কিছুই খারাপ হয়নি। ওই পঞ্চাশটি প্রশ্নেই সেটিংস ঠিক করা হয়েছিল, আর কেউ জিজ্ঞেস করেনি মারাঠিতে কী খারাপ হয়েছে।

Stronger approach মডেল কখনো তৈরি হয়নি এমন একটি আলাদা প্রশ্ন সেটে আগে এবং পরে চালায়। বিল এক-তৃতীয়াংশ কমে যায়। হিন্দিতে সঠিকতা থাকে, আর মারাঠিতে কমে, তাই রিপোর্টে দুই সংখ্যাই থাকে।

Why the stronger approach works দুই রিপোর্টই আসল পরীক্ষার পর লেখা হয়েছে। কিন্তু শুধুমাত্র একটিই এমন প্রশ্নে পরীক্ষা করেছে যেগুলোর জন্য পরিবর্তন আগে থেকে ফিট করা হয়নি।

Try a changed situation একটি টিউশন সেন্টার তাদের রিমাইন্ডার মেসেজগুলো ছোট করে দেয় এবং অভিভাবকরা দ্রুত উত্তর দেয়। আর কী দেখবেন?

Make something yourself পাঁচটি কাজের একটি পরীক্ষা পরিকল্পনা তৈরি করুন। একটি সাফল্যের মাপকাঠি, একটি নিরাপত্তা পরীক্ষা, এবং একটি ব্যবহারকারী গোষ্ঠীর পরীক্ষা দিন।

Read the primary or official source: OpenAI HealthBench