మీ లేబుల్స్ ఎక్కడికి వెళ్తాయి

What this lesson is about

మీ స్క్రీన్ నుండి ఒక రేటింగ్ బ్యాచ్‌ను ట్రైనింగ్ రన్ వరకు అనుసరించండి, మరియు దారిలో దాటే చెక్స్‌ను కనుగొనండి.

మీరు శుక్రవారం 200 పంక్తులు పూర్తి చేసి పంపారు. మీ బంధువు ఆ రాత్రి మోడల్ మారుతుందా అని అడుగుతాడు.

Why this matters

ప్రచురించిన అసిస్టెంట్ రన్ ఈ చక్రాన్ని స్పష్టంగా వివరిస్తుంది. బ్యాచ్‌లు కలిపి, ఒక భాగం వేరుగా ఉంచబడుతుంది, మోడల్ ట్రైన్ చేయబడుతుంది, మరియు మారిన మోడల్‌పై కొత్త బ్యాచ్‌లు వస్తాయి. రన్‌ను తర్వాత నమ్మకంగా చూడడానికి రెండు విషయాలు నిర్ణయిస్తాయి. వేరుగా ఉంచిన భాగం మరమ్మతుల సమయంలో చదవకూడదు. ప్రతి బ్యాచ్‌తో దాన్ని ఎవరు, ఎప్పుడు మార్క్ చేశారో ఉండాలి.

మీ స్క్రీన్ నుండి ఒక రేటింగ్ బ్యాచ్‌ను ట్రైనింగ్ రన్ వరకు అనుసరించండి, మరియు దారిలో దాటే చెక్స్‌ను పేరు చెప్పండి.

మీ బ్యాచ్ ఇతరులతో కలిపి, తర్వాత విభజించబడుతుంది: ఎక్కువ భాగం రన్‌కు వెళుతుంది, కొంత వేరుగా ఉంచబడుతుంది.
వేరుగా ఉంచిన భాగం ఎవరో దాని లోపాలను చదివి మరమ్మతు చేసే సమయంలో ఖర్చవుతుంది.
దాన్ని ఎవరు, ఎప్పుడు మార్క్ చేశారో రాయండి, ఎందుకంటే పేర్లేని బ్యాచ్‌ను తర్వాత తనిఖీ చేయలేరు.

Task

ఒక జట్టు అడుగుతుంది, గత నెలలో మార్క్ చేసిన 1200 జంటలు కొత్త మోడల్ పరీక్షకు ముందు ఎక్కడికి వెళ్లాయి.

Weak approach అన్నీ ట్రైనింగ్ రన్‌లోకి వెళ్లాయని, కొత్త మోడల్ మెరుగ్గా స్పందిస్తుందని, అందువల్ల మార్కింగ్ పని చేశిందని చెప్తుంది. బ్యాచ్ పేరు, లెక్క లేదా తేదీ చెప్పదు.

Stronger approach వీటిని ట్రేస్ చేస్తుంది: 1000 రన్‌లో, 200 వేరుగా ఉంచారు. ఆ 200లో 2 మరమ్మతుల సమయంలో చదివారు, అందువల్ల రిపోర్ట్ 198 అని చెప్తుంది.

Why the stronger approach works బలహీన ట్రేస్ మోడల్ మెరుగ్గా ఉందనే స్థాయిలో ఆగిపోతుంది. బలమైనది వేరుగా ఉంచినది మరియు ఖర్చైనదిని చెప్తుంది.

Try a changed situation ఒక భాగస్వామి సంస్థ మీరు వేరుగా ఉంచిన భాగం నుండి ఒక సంఖ్య కోరుతుంది. ఆ భాగంలోని ఆరు అంశాలు మార్గదర్శకాన్ని మరమ్మతు చేసే సమయంలో చదివారు.

Make something yourself మీ పని చేసిన ఒక బ్యాచ్ మార్గాన్ని చిత్రించండి. దాన్ని ఎవరు మార్క్ చేశారు, ఏదైనది ట్రైన్ చేయబడింది, ఏమి వేరుగా ఉంచబడింది, ఏమి ఖర్చు చేయబడింది.

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)