নিশান লগোৱা মডেল পৰীক্ষা কৰক

What this lesson is about

আপোনাৰ নিজা নিশানৰ সৈতে এটা মডেল গ্ৰেডাৰক মাপ দিয়ক, আৰু সেই তিনিটা অভ্যাস পৰীক্ষা কৰক যিয়ে তাৰ সংখ্যাটোক মূল্যহীন কৰি তোলে।

আপোনাৰ গ্ৰাহকে সপ্তাহত দুয়ো হাজাৰ উত্তৰ চিহ্নিত কৰিবলৈ মডেল দিয়ে। আপুনি ক’ৰ পৰা আৰম্ভ কৰিব?

Why this matters

এটা মডেলে এটা দলতকৈ বহুত উত্তৰ চিহ্নিত কৰিব পাৰে। এটা প্ৰকাশিত অধ্যয়নে এটা শক্তিশালী মডেল মানুহৰ সৈতে প্ৰায় আশি শতাংশ সময়ত মিল থকা দেখা পাইছে। দুজন মানুহেও এনেকুৱা মিল দেখুৱায়। সেই অধ্যয়নে পৰীক্ষা কৰিবলগীয়া অভ্যাসসমূহো উল্লেখ কৰিছে: দীঘল উত্তৰে জিকিব, প্ৰথম দেখুওৱা উত্তৰে জিকিব, আৰু মডেলটোৱে নিজৰ লিখনী পচন্দ কৰে।

উত্তৰসমূহত চিহ্ন লগোৱা মডেলটো আপোনাৰ নিজা চিহ্নৰ সৈতে পৰীক্ষা কৰক, তাৰপিছতহে তাৰ পৰা অহা সংখ্যাত বিশ্বাস কৰক।

প্ৰথমে হাতেৰে এটা তালিকা চিহ্নিত কৰক, তাৰপিছত গণনা কৰক মডেলটোৱে কিমানবাৰ আপোনাৰ সৈতে মিল খায়।
তিনিটা অভ্যাস পৰীক্ষা কৰক: দীঘল উত্তৰে জিকিব, প্ৰথম উত্তৰে জিকিব, আৰু মডেলটোৱে নিজৰ লিখনী পচন্দ কৰা।
মিলৰ সংখ্যা গণনাৰ সৈতে প্ৰকাশ কৰক, মডেলটোৰ নম্বৰ একাকাৰে কেতিয়াও প্ৰকাশ নকৰিব।

Task

এটা দল সপ্তাহত দুয়ো হাজাৰ হিন্দী উত্তৰ চিহ্নিত কৰিবলৈ মডেল বিচাৰে।

Weak approach সকলো দুয়ো হাজাৰ উত্তৰত মডেলটো চলায়, উত্তীৰ্ণ হোৱাৰ সংখ্যা দিয়ে, আৰু কয় কিছু উত্তৰত চিহ্ন বুজাব পৰা যেন লাগিছিল। হাতেৰে একো চিহ্নিত নকৰে।

Stronger approach প্ৰথমে আশি উত্তৰ হাতেৰে চিহ্নিত কৰে। মডেলটোৱে বাষট্টিত মিল খায়, আৰু আঠাৰটা বিভাজনৰ চৌদহটা দীঘল উত্তৰৰ পক্ষে যায়। বাকী চলোৱাৰ আগতে দুয়োটা সংখ্যা প্ৰকাশ কৰে।

Why the stronger approach works দুয়োয়ে মডেল ব্যৱহাৰ কৰিছে। কেৱল শক্তিশালী উত্তৰে মডেলটোৰ সংখ্যাটোৰ মূল্য কি বুজাব পাৰে।

Try a changed situation মডেলটোৱে দশটাৰ ভিতৰত সাতটাত প্ৰথম দেখুওৱা উত্তৰক ওপৰত ৰাখে। আপোনাৰ নিজা চিহ্নসমূহ সমানভাৱে বিভক্ত।

Make something yourself চাৰি চাৰি উত্তৰ হাতেৰে চিহ্নিত কৰক, তাৰপিছত একে চাৰি উত্তৰত মডেলটোক চিহ্ন লগাওক। মিল প্ৰকাশ কৰক আৰু বিভাজনৰ পিছৰ অভ্যাসৰ নাম দিয়ক।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)