Skip to lesson

యంత్ర అనువాదం. ఆంగ్లం మరియు హిందీ సమీక్షించిన వెర్షన్లు.Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

మార్కులు పెట్టే మోడల్‌ను తనిఖీ చేయండి

What this lesson is about

మీ స్వంత మార్కులతో మోడల్ గ్రేడర్‌ను కొలవండి, మరియు దాని గణాంకాలను విలువలేని చేయించే మూడు అలవాట్లను పరీక్షించండి.

మీ కొనుగోలుదారు ప్రతి వారం రెండు వేల సమాధానాలను మార్క్ చేయమని కోరుకుంటున్నాడు మరియు ఒక మోడల్ అందించాడు. మీరు ఎక్కడి నుండి మొదలుపెడతారు?

Why this matters

మోడల్ ఒక వర్గం కంటే చాలా ఎక్కువ సమాధానాలను మార్క్ చేయగలదు. ఒక ప్రచురిత అధ్యయనం ఒక బలమైన మోడల్ సుమారు 80% సార్లు మనుషులతో ఒప్పుకుంటుందని కొలిచింది. ఇద్దరు మనుషులు కూడా అంతే సార్లు ఒప్పుకుంటారు. అదే అధ్యయనం పరీక్షించవలసిన అలవాట్లను సూచిస్తుంది: పొడవైన సమాధానం గెలుస్తుంది, మొదట చూపించిన సమాధానం గెలుస్తుంది, మరియు మోడల్ తన స్వంత రచనను ఇష్టపడుతుంది.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)