യന്ത്രം വിവർത്തനം ചെയ്തതാണ്. ഇംഗ്ലീഷ്, ഹിന്ദി പരിശോധിച്ച പതിപ്പുകളാണ്.English हिन्दी

Learn
See
Try
Make

ഒരു പരിശോധന റൗണ്ട് നടത്തുകയും സ്കെയിൽ പുനഃക്രമീകരിക്കുകയും ചെയ്യുക

What this lesson is about

ഒരു ടീമിന് ഒരേ പത്ത് ഇനങ്ങൾ നൽകുക, അവരുടെ മാർക്കുകൾ എത്ര ദൂരം വേർപെടുത്തിയിട്ടുണ്ടെന്ന് അളക്കുക. പിന്നീട് അവരെ വിഭജിച്ച ആ ഒരു ആങ്കർ പുനഃരചയിക്കുക.

നിങ്ങളുടെ ടീമിലെ നാല് പേർ സമാനമായി വായിക്കാത്ത ബാച്ചുകൾ സമർപ്പിക്കുന്നു. ക്ലയന്റ് ഇത് പറഞ്ഞിട്ടുണ്ട്. റൗണ്ട് എങ്ങനെ ആരംഭിക്കും?

Why this matters

ഒരേ കാര്യം സൂക്ഷ്മമായി വിലയിരുത്തുന്ന രണ്ട് പേർ പ്രതീക്ഷിക്കുന്നതിൽ കൂടുതലായി വ്യത്യാസപ്പെടും. പ്രസിദ്ധീകരിച്ച ഒരു സുരക്ഷാ പ്രോജക്ടിൽ നാല് റേറ്റർമാരെ ഒരേ കേസുകളിൽ വിലയിരുത്തി. സംഭവ സാധ്യത ഒഴിവാക്കിയപ്പോൾ അവരുടെ സമ്മതി 0.32 ആയിരുന്നു. റേറ്റിംഗ് രണ്ട് ലെവലുകളാക്കി കുറച്ചപ്പോൾ അത് 0.49 ആയി. ആ സംഖ്യ എഴുതിയ സ്കെയിലിനെയാണ് സൂചിപ്പിക്കുന്നത്, രണ്ടാം റൗണ്ടിനൊപ്പം താരതമ്യം ചെയ്യാവുന്നതും അതേ മാത്രം.

ടീമിനൊപ്പം ഒരേ ഇനങ്ങളിൽ റൗണ്ട് നടത്തുക. മാർക്കുകൾ എത്ര ദൂരം വേർപെട്ടുവെന്ന് അളക്കുക, അവരെ വിഭജിച്ച ആ ആങ്കർ പുനഃരചയിക്കുക.

എല്ലാവർക്കും ഒരേ പത്ത് ഇനങ്ങൾ അയച്ച്, ഒറ്റക്ക് മാർക്ക് ചെയ്യാൻ പറയുക, ആരും തമ്മിൽ കുറിപ്പുകൾ താരതമ്യം ചെയ്യുന്നതിന് മുമ്പ്.
സംഭവ സാധ്യത മാത്രം ഉണ്ടാക്കിയ സമ്മതിയെ ഒഴിവാക്കി ശേഷിക്കുന്നതിനെ റിപ്പോർട്ട് ചെയ്യുക.
ടീം വിഭജിച്ച ആ ആങ്കർ പുനഃരചയിക്കുക, പിന്നെ ഒരേ പത്ത് ഇനങ്ങൾ വീണ്ടും അയയ്ക്കുക.

Task

ചെറിയ ടീമിലെ നാലു റിവ്യൂവേഴ്സ് അഞ്ചു ലെവൽ സ്കെയിലിൽ മറുപടികൾ വിലയിരുത്തുന്നു. അവരുടെ ക്ലയന്റ് നാല് ബാച്ചുകളും ഒരേ ബാച്ച് പോലെയല്ലെന്ന് പറയുന്നു.

Weak approach നാലുപേരെയും ഒരുമിച്ച് വിളിച്ച് പത്ത് മറുപടികൾ വായിച്ച് റൂം തീരുമാനിച്ച ലെവൽ എടുത്തു. എല്ലാവരും സമ്മതിച്ച് പോയി, അടുത്ത ആഴ്ചയുടെ ബാച്ചുകൾ മുമ്പത്തെ പോലെ വ്യത്യസ്തമായി തുടരുന്നു.

Stronger approach അവരെ ഓരോരുത്തരെയും ഒറ്റക്ക് മാർക്ക് ചെയ്യാൻ ഒരേ പത്ത് ഇനങ്ങൾ അയച്ചു. രണ്ട് ഇനങ്ങൾ ഏറ്റവും താഴ്ന്നതിൽ നിന്നും ഏറ്റവും ഉയർന്നതിലേക്കും എല്ലാ ലെവലുകളും ഉൾക്കൊള്ളുന്നു. ഇരുവരും 'മോഡറേറ്റ് meets'നും 'ഹൈലി meets'നും ഇടയിലുള്ള വരിയിലാണ്. ആ ആങ്കർ പുനഃരചയിച്ച് പത്ത് ഇനങ്ങൾ വീണ്ടും അയച്ചു. ആ രണ്ട് ഇനങ്ങളിലെ വ്യാപനം ഒരു ലെവലിലേക്ക് കുറയുന്നു.

Why the stronger approach works ആരൊന്ന് ആദ്യം സംസാരിച്ചതുകൊണ്ട് റൂമിൽ സമ്മതി ഉണ്ടായി. ഒറ്റക്ക് മാർക്ക് ചെയ്ത പത്ത് ഇനങ്ങൾ ഏത് ആങ്കർ വായിക്കാൻ പറ്റാത്തതാണെന്ന് കാണിക്കുന്നു, രണ്ടാം റൗണ്ട് പുനഃരചന ഫലപ്രദമാണോ എന്ന് പറയുന്നു.

Try a changed situation രണ്ട് ആരോഗ്യ പ്രവർത്തകർ ഒരേ രാവിലെ ഇരുപത് കുട്ടികളെ തൂക്കിയപ്പോൾ അവരുടെ റിപ്പോർട്ടുകൾ വ്യത്യസ്തമായി. നിങ്ങൾ മുകളിൽ എന്ത് റിപ്പോർട്ട് ചെയ്യും?

Make something yourself ഒരു റൗണ്ട് നടത്തുക. ഒരേ പത്ത് ഇനങ്ങൾ രണ്ട് അല്ലെങ്കിൽ കൂടുതൽ ആളുകൾക്ക് അയച്ച്, ഒറ്റക്ക് നൽകിയ മാർക്കുകൾ ശേഖരിക്കുക. കുറിപ്പ് എഴുതുക: വ്യാപനം, പുനഃരചയിച്ച ആങ്കർ, തീയതി.

Read the primary or official source: Ganguli et al., Red Teaming Language Models (arXiv)