એક જવાબ નહીં, સંપૂર્ણ વાતચીતની સમીક્ષા કરો

What this lesson is about

જવાબનું મૂલ્યાંકન કરો તે વાતચીતના અગાઉ નક્કી થયેલા મુદ્દાઓ સામે. વપરાશકર્તાના નિયમો, તેમના સુધારા અને તેઓએ પસંદ કરેલી ભાષા.

પ્રથમ ટર્નમાં ગ્રાહકે હિન્દી માંગી હતી. ચોથો ટર્ન ફલૂએન્ટ અંગ્રેજી અને સાચા તથ્યો સાથે છે. તમે ચોથા ટર્નને કેવી રીતે સ્કોર કરશો?

Why this matters

એકજ જવાબની સમીક્ષા એવી વાતચીતને પસાર કરી દે છે જે ત્રણ વળાંક પહેલા વપરાશકર્તાએ માંગેલી વાતને શાંતિથી છોડે છે.

દરેક જવાબનું મૂલ્યાંકન કરો તે નિયમો, સુધારા અને તથ્યો સામે જે વાતચીતમાં પહેલેથી નક્કી થયાં છે.

એકવાર આપવામાં આવેલી સૂચના ત્યાં સુધી માન્ય રહે છે જ્યાં સુધી વપરાશકર્તા તેને બદલે.
દરેક જવાબને તેના પહેલા વળાંકોથી સરખાવો, એકલા નહીં.
જ્યાં વાતચીત પ્રથમ તૂટી ત્યાંનો વળાંક ચિહ્નિત કરો, છેલ્લો નહીં.

Task

સ્કોલરશિપ ફોર્મ વિશે ચાર-ચરણની વાતચીત. પ્રથમ ચરણમાં વપરાશકર્તાએ હિન્દી માંગ્યું. ત્રીજા ચરણમાં તેણે છેલ્લી તારીખ સુધારી અને સહાયકએ તેને સ્વીકારી.

Weak approach ચોથો ચરણ ખોલે છે, તેના તથ્યોને સૂચના સાથે તપાસે છે, સાચા મળે છે અને પાસ કરી દે છે. પ્રથમ ચરણ ત્રણ સ્ક્રીન ઉપર છે અને ત્યાં ફરી પાછા જવામાં આવતું નથી.

Stronger approach પ્રથમથી ચોથા ચરણ સુધી ક્રમવાર વાંચે છે અને દરેક ચરણે આગળ શું લઈ જવું તે લખે છે. ચોથો ચરણ સુધારેલી તારીખ પુનરાવર્તન કરે છે, જે સાચી છે, અને જવાબ અંગ્રેજીમાં આપે છે, જે પ્રથમ ચરણે નકારી હતી. ચોથા ચરણને વિભાજન તરીકે ચિહ્નિત કરે છે અને પ્રથમ ચરણની પંક્તિનું ઉદ્ધરણ આપે છે.

Why the stronger approach works બંને સમીક્ષાઓમાં ચોથા ચરણના તથ્યો સાચા હતા. જે સૂચના ચૂકી ગઈ તે ત્રણ સ્ક્રીન ઉપર હતી, અને તે માત્ર સમીક્ષકને જ દેખાઈ જેણે પ્રથમ ચરણથી વાંચ્યું હતું.

Try a changed situation હવે તમે વાતચીત નહીં, પરંતુ સહાયકના સાધન-પગલાંની સમીક્ષા કરી રહ્યા છો. કયો નિયમ હજુ લાગુ પડે છે?

Make something yourself તમારી સહાયક સાથે થયેલી ચાર વળાંકની વાતચીત લો. દરેક વળાંક માટે તે એક બાબત લખો જે તેને અગાઉના વળાંકમાંથી આગળ લઈ જવી હતી અને જણાવો કે તે લઈ ગઈ કે નહીં.

Read the primary or official source: Anthropic HH-RLHF