Skip to lesson

মেশিন দ্বারা অনূদিত। ইংরেজি এবং হিন্দি পর্যালোচিত সংস্করণ।Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

নিশান দেওয়ার মডেল পরীক্ষা করুন

What this lesson is about

আপনার নিজের নিশানের সঙ্গে মডেল গ্রেডারকে মাপুন, এবং তিনটি অভ্যাস পরীক্ষা করুন যা তার ফলাফলকে অর্থহীন করে তোলে।

আপনার ক্রেতা প্রতি সপ্তাহে দুই হাজার উত্তর চিহ্নিত করতে চায় এবং একটি মডেল দিয়েছে। আপনি কোথা থেকে শুরু করবেন?

Why this matters

একটি মডেল অনেক বেশি উত্তর চিহ্নিত করতে পারে একটি দলের চেয়ে। একটি প্রকাশিত গবেষণায় দেখা গেছে একটি শক্তিশালী মডেল মানুষের সঙ্গে প্রায় আশি শতাংশ মিলেছে, যা দুই মানুষের মিলের সমান। সেই গবেষণায় তিনটি অভ্যাস পরীক্ষা করার কথা বলা হয়েছে: দীর্ঘ উত্তর জিতে যায়, প্রথম দেখানো উত্তর জিতে যায়, এবং মডেল নিজের লেখা পছন্দ করে।

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)