બીજાઓ સાથે સમીક્ષા રાઉન્ડ ચલાવો

What this lesson is about

ત્રણ સમીક્ષકોને સમાન કેસ આપો, જ્યાં તેઓ વિભાજિત થાય ત્યાં તુલના કરો, અને લોકોની બદલે સૂચનાને સુધારો.

પાંચ કેસ બહાર ગયા. છેલ્લે, બે લોકોએ સંદેશને ધમકી કહી અને એકએ જોક. હવે શું કરવું?

Why this matters

એક રાઉન્ડનો ઉદ્દેશ ખરાબ રિવ્યુઅર પકડવાનો નથી. એક પ્રકાશિત સલામતી અભ્યાસમાં, ત્રણ રિવ્યુઅરો એ જ પાંચસો કેસનું મૂલ્યાંકન કર્યું. લેખક સહિત ચારનું સહમતિ સ્કોર, સંભાવનાને દૂર કર્યા પછી, 0.32 આવ્યું. જ્યારે રેટિંગને હા કે ના સુધી મર્યાદિત કરવામાં આવ્યું, ત્યારે તે 0.49 સુધી વધ્યું. લેખકોએ દોષ લોકો પર નહીં, પરંતુ પોતાના કાર્યની શબ્દાવલી પર મૂક્યો.

શેર કરેલા કેસ પર રાઉન્ડ ચલાવો, સમીક્ષકો ક્યાં વિભાજિત થાય તે શોધો, અને તે સૂચનાને ફરીથી લખો જે તેમને વિભાજિત કરે.

ત્રણ સમીક્ષકોને સમાન કેસ આપો, પછી જુઓ તેઓ ક્યાં વિભાજિત થાય.
જ્યારે લોકો અસહમત હોય, ત્યારે સમીક્ષકને દોષ આપતા પહેલા સૂચનાને બદલો.
રાઉન્ડનું પરિણામ તે તમામને જાહેર કરો જેઓ તેમાં ભાગ લેશે, જેમાં તમારી ભૂલો પણ શામેલ છે.

Task

પાંચ સલામતી કેસ ત્રણ સમીક્ષકોને આપ્યા. ચારમાં સહમતી થઈ. પાંચમામાં, બે લોકોએ સંદેશને ધમકી ગણાવ્યો અને એકએ મજાક કહ્યો.

Weak approach જે બે લોકો સહમત હતા તેમના સાથે જાય છે અને ત્રીજા વ્યક્તિને પુછે છે કે ફરીથી જુઓ જ્યાં સુધી તે સહમત ન થાય. આ રાઉન્ડથી એક નિર્ણય આવે છે, અને જે વાક્ય તેમને વિભાજિત કરે છે તે માર્ગદર્શિકામાં જ છે.

Stronger approach બંને અભિપ્રાય લખે, બતાવે કે નિયમ ક્યારેય સ્પષ્ટ નથી કરતો કે ધમકી શું ગણાય, તે વાક્ય ફરીથી લખે, અને પરિણામ ત્રણેયને મોકલે.

Why the stronger approach works વિભાજન જ શોધ હતી, અને મજબૂત રસ્તો તેના પર કામ કરે છે. મતદાન આ છુપાવે છે, અને આવું જ વિવાદ આગામી અઠવાડિયે ફરી આવે છે.

Try a changed situation તમારી ગલીના બે દુકાનદારો એક જ નગરપાલિકા સૂચનાને વિરુદ્ધ રીતે વાંચે છે. કયો નિયમ હજી લાગુ પડે છે?

Make something yourself બે અન્ય લોકો સાથે પાંચ શેર કરેલા કેસ પર રાઉન્ડ ચલાવો. લખો કોણ શું નક્કી કર્યું, કયા કેસ પર વિભાજન થયું, અને પછી તમે કયો સૂચનાનો વાક્ય ફરીથી લખ્યો.

Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)