All learning paths Learn See Try Make ప్రాధాన్యత బ్యాచ్ను ఆడిట్ చేయండి What this lesson is about ప్రాధాన్యత మార్కుల బ్యాచ్ను తెరవండి, స్కోరర్ దానినుండి నేర్చుకునే లోపాలను లెక్కించండి, ఆ తర్వాత నోట్ రాయండి.
900 మార్క్ చేసిన జంటల బ్యాచ్ ప్రయోగశాలకు వెళ్లే ముందు మీ డెస్క్పై వస్తుంది. మీరు మొదట ఏది లెక్కిస్తారు?
A ప్రతి వ్యక్తి ఎంత జంటలు పూర్తి చేశాడో, కాబట్టి మందగించిన డెస్క్ ప్రయోగశాల ఫిర్యాదు చేసే ముందు కనిపిస్తుంది. B మూడు లోపాలు స్కోరర్ను విషపూరితం చేస్తాయి: పొడవు గెలవడం, మొదట చూపించిన జవాబు గెలవడం, మరియు ఒక్క సమీక్షకుడు ఒంటరిగా మార్క్ చేయడం. C ఎంచుకున్న జవాబులు బాగా చదవబడ్డాయా, ఎందుకంటే మంచి ఎంచుకున్న జవాబులు మంచి బ్యాచ్ను చేస్తాయి.
Check my recall Why this matters ప్రచురించిన సహాయక ప్రాజెక్ట్ ఒక ప్రయోగశాల పరిశోధకులు మరియు వారి చెల్లింపు సమీక్షకుల మధ్య సుమారు 63 శాతం అంగీకారాన్ని కొలిచింది. కఠినమైన కేసులపై జాగ్రత్తగా పని ఇలానే ఉంటుంది. కాబట్టి స్వయంగా సుమారు పరిపూర్ణంగా అంగీకరించే బ్యాచ్ను మొదట తెరవండి. మీరు వెతుకుతున్నది స్కోరర్ అనుకరించే అలవాటు.
స్కోరర్ నేర్చుకునే లోపాలను గుర్తించడానికి ప్రాధాన్యత మార్కుల బ్యాచ్ను ఆడిట్ చేయండి. దానికి సంబంధించిన నోట్ రాయండి.
ప్రచురించిన సహాయక ప్రాజెక్ట్ ఒక ప్రయోగశాల పరిశోధకులు మరియు వారి చెల్లింపు సమీక్షకుల మధ్య సుమారు 63 శాతం అంగీకారాన్ని కొలిచింది. కఠినమైన కేసులపై జాగ్రత్తగా పని ఇలానే ఉంటుంది. కాబట్టి స్వయంగా సుమారు పరిపూర్ణంగా అంగీకరించే బ్యాచ్ను మొదట తెరవండి. మీరు వెతుకుతున్నది స్కోరర్ అనుకరించే అలవాటు.
మూడు లోపాలు స్కోరర్ను విషపూరితం చేస్తాయి: పొడవు గెలవడం, మొదట చూపించిన జవాబు గెలవడం, మరియు ఒక్క సమీక్షకుడు ఒంటరిగా మార్క్ చేయడం. సుమారు పరిపూర్ణ అంగీకారం బహుమతి కాదు, హెచ్చరిక మాత్రమే, ఎందుకంటే కఠినమైన కేసులు జాగ్రత్తగా ఉన్నవారిని కూడా విభజిస్తాయి. నమూనా పరిమాణంతో లెక్కలను నివేదించండి, మరియు మీరు పరీక్షించలేని లోపాన్ని చెప్పండి. Task శిక్షణకు పంపే ముందు ఆరోగ్య సహాయక రేఖ నుండి 900 ప్రాధాన్యత జంటలలో 60 జంటలను ఆడిట్ చేయండి.
Weak approach అరవై జంటలను చదవడం, ప్రతి మార్క్ సరికొత్తగా కనిపించడం, మరియు బ్యాచ్ శుభ్రమైనదిగా ఉంది, పంపవచ్చు అని రాయడం. ఏదీ లెక్కించలేదు, ఎవరూ మార్క్ చేయలేదని చెప్పలేదు.
Stronger approach లెక్కించబడింది: అరవై జంటలలో 48 సార్లు పొడవైన జవాబు గెలిచింది, మరియు 41 సార్లు మొదట చూపించిన జవాబు గెలిచింది. రెండింటినీ నమూనా పరిమాణంతో నివేదించి, 30 జంటలను ఆర్డర్ మార్చి మళ్లీ మార్క్ చేయమని కోరుతుంది.
Why the stronger approach works రెండు సమీక్షకులు అదే అరవై జంటలను చదివారు. బలమైన ఆడిట్ ఆ చదువును కొనుగోలుదారుడు తనిఖీ చేయగల రెండు లెక్కలుగా మార్చుతుంది.
Try a changed situation మీ నమూనాలో అరవై కఠిన జంటలలో 59పై ఇద్దరు సమీక్షకులు అంగీకరించారు. కొనుగోలుదారుడు దీన్ని అద్భుతమైన పని అంటున్నాడు.
Make something yourself ఒక ప్రాధాన్యత బ్యాచ్ యొక్క నమూనాను ఆడిట్ చేయండి. పొడవు గెలుపులు మరియు మొదట చూపించిన గెలుపులను లెక్కించండి, ఆ తర్వాత బ్యాచ్తో పాటు వెళ్లే నోట్ రాయండి.
Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)