இயந்திர மொழிபெயர்ப்பு. ஆங்கிலம் மற்றும் ஹிந்தி மதிப்பாய்வு செய்யப்பட்ட பதிப்புகள்.English हिन्दी

Learn
See
Try
Make

மாதிரியை மதிப்பீடு செய்பவர் சரிபார்க்கவும்

What this lesson is about

உங்கள் சொந்த மதிப்பீடுகளுடன் மாதிரி மதிப்பீட்டாளரை அளவிடுங்கள், மற்றும் அதன் மதிப்பை மதிப்பற்றதாக்கும் மூன்று பழக்கவழக்கங்களை சோதிக்கவும்.

உங்கள் வாங்குபவர் வாரத்திற்கு இரண்டாயிரம் பதில்களை மதிப்பிட விரும்புகிறார் மற்றும் அதற்காக ஒரு மாதிரியை வழங்குகிறார். நீங்கள் எங்கே தொடங்குவீர்கள்?

Why this matters

ஒரு மாதிரி ஒரு குழுவை விட பல பதில்களை மதிப்பிட முடியும். ஒரு வெளியிடப்பட்ட ஆய்வில் ஒரு வலுவான மாதிரி மனிதர்களுடன் சுமார் 80% ஒப்பந்தம் காட்டியது. இரண்டு மனிதர்கள் அதே அளவுக்கு ஒப்புக்கொள்கிறார்கள். அதே ஆய்வில் சோதிக்க வேண்டிய பழக்கவழக்கங்களையும் குறிப்பிடுகிறது: நீண்ட பதில் வெல்லும், முதலில் காட்டப்பட்ட பதில் வெல்லும், மற்றும் மாதிரி தன் எழுத்துக்களை விரும்பும்.

மாதிரியால் மதிப்பிடப்பட்ட பதில்களை உங்கள் சொந்த மதிப்பீடுகளுடன் ஒப்பிட்டு சரிபார்க்கவும், பின்னர் அதிலிருந்து ஒரு மதிப்பை நம்பவும்.

முதலில் ஒரு தொகுப்பை கையால் மதிப்பிட்டு, பின்னர் மாதிரி எத்தனை முறை உங்களுடன் ஒப்புக்கொள்கிறது என்று எண்ணுங்கள்.
மூன்று பழக்கவழக்கங்களை சோதிக்கவும்: நீண்ட பதில் வெல்லும், முதலில் காட்டப்பட்ட பதில் வெல்லும், மற்றும் மாதிரி தன் எழுத்துக்களை விரும்பும்.
ஒப்பந்த எண்ணிக்கையுடன் ஒப்பந்த மதிப்பை வெளியிடுங்கள், மாதிரியின் தனிப்பட்ட மதிப்பை ஒருபோதும் வெளியிட வேண்டாம்.

Task

ஒரு குழு வாரத்திற்கு இரண்டாயிரம் ஹிந்தி பதில்களை மாதிரி மதிப்பிட விரும்புகிறது.

Weak approach அனைத்து இரண்டாயிரத்திலும் மாதிரியை இயக்கி, தேர்ச்சி விகிதத்தை அறிவிக்கிறது, சிலவற்றில் மதிப்பீடுகள் பொருத்தமானவை என்று கூறுகிறது. ஒன்றையும் கையால் மதிப்பிடவில்லை.

Stronger approach முதலில் எண்பதைக் கையால் மதிப்பிட்டு, மாதிரி அறுபத்திரண்டில் ஒப்புக்கொள்கிறது, மற்றும் பதினெட்டில் பதினான்கு நீண்ட பதிலுக்கு செல்லும் பிரிவுகள் உள்ளன. மீதியை இயக்குவதற்கு முன் இரு எண்ணிக்கைகளையும் அறிவிக்கிறது.

Why the stronger approach works இருவரும் மாதிரியை பயன்படுத்தினர். வலுவானவர் மாதிரியின் மதிப்பின் மதிப்பை மட்டுமே கூற முடியும்.

Try a changed situation மாதிரி பதில்களின் பத்தில் ஏழு ஜோடிகளில் முதலில் காட்டப்பட்ட பதிலை மேலே வைக்கிறது. உங்கள் சொந்த மதிப்பீடுகள் சமமாகப் பிரிக்கப்பட்டுள்ளன.

Make something yourself நாற்பது பதில்களை கையால் மதிப்பிட்டு, அதே நாற்பதைக் க்கான மதிப்பீட்டை மாதிரியால் செய்யவும். ஒப்பந்தத்தை அறிவித்து பிரிவுகளுக்குப் பின்னால் உள்ள பழக்கத்தை பெயரிடவும்.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)