পরিবর্তন করার আগে মাপুন

What this lesson is about

আপনার নিজের পঞ্চাশটি উদাহরণের ওপর এটি কেমন কাজ করে তা লিখে রাখুন। এই সংখ্যাটিই আপনার পরিবর্তনের বিচার করার একমাত্র মানদণ্ড।

আপনি একটি ছোট মডেলের জন্য নির্দেশনা পুনরায় লিখতে যাচ্ছেন যাতে তার হিন্দি উত্তরগুলি উন্নত হয়। প্রথমে কী করবেন?

Why this matters

Hugging Face-এর নির্দেশনা বলে যে যেই উদাহরণগুলো দিয়ে মডেল তৈরি হয়েছে সেগুলোতেই পরীক্ষা করা উচিত নয়। স্কোর চমৎকার দেখায় কিন্তু তা অর্থহীন। তারিখ ও সংস্করণ ছাড়া কোনো সংখ্যা তুলনার যোগ্য নয়।

আপনি নিজের উদাহরণের ওপর একটি মডেল মাপতে পারবেন এবং সেই রান রেকর্ড করতে পারবেন যাতে পরবর্তীতে তুলনা করা যায়।

পরিবর্তন করার আগে আপনার নিজের পঞ্চাশটি উদাহরণের ওপর এটি কেমন করে তা লিখে রাখুন।
যে কঠিন কেসগুলোতে আপনি মনে করেন এটি ব্যর্থ হবে সেগুলোও অন্তর্ভুক্ত করুন, না হলে স্কোর অতিরঞ্জিত হবে।
স্কোরের পাশে তারিখ, মডেলের সংস্করণ এবং ইনপুটগুলোও রেকর্ড করুন।

Task

আপনি একটি ছোট মডেলকে দেওয়া নির্দেশনা পরিবর্তন করতে যাচ্ছেন যাতে তার হিন্দি উত্তরগুলো উন্নত হয়।

Weak approach নির্দেশনা বদলানো, পাঁচটি উত্তর পড়া, এবং ধরে নেওয়া যে এখন হিন্দি ভালো। কেউ পুরনো নির্দেশনার স্কোর লিখেনি, তাই ভালো থাকার জন্য কিছুই নেই।

Stronger approach প্রথমে নিজের পঞ্চাশটি বার্তার স্কোর করা, তারিখ ও সংস্করণ লেখা, তারপর একটি জিনিস পরিবর্তন করা।

Why the stronger approach works প্রথম স্কোর ছাড়া 'ভালো' শুধু একটা অনুভূতি। সেটার সঙ্গে এই পরিবর্তন একটি সংখ্যায় পরিণত হয় যা কাউকে দেখানো যায়।

Try a changed situation একজন বন্ধু প্রমাণ করতে চায় তার নতুন পড়ানোর পদ্ধতি কাজ করে। সে একই দশটি প্রশ্নে পরীক্ষা করার পরিকল্পনা করছে যেগুলো থেকে সে পড়িয়েছে। আপনি তাকে কী বলবেন?

Make something yourself একটি মডেলের প্রথম মাপ তৈরি করুন। আপনার পঞ্চাশটি ইনপুট, প্রত্যেকটির প্রত্যাশিত উত্তর, এবং মডেল যা দিয়েছে তা লিখুন। সঙ্গে আপনার স্কোর, তারিখ এবং সংস্করণ যোগ করুন।

Read the primary or official source: Hugging Face Evaluate · considerations for model evaluation