ఉచిత యంత్రంలో మోడల్ నడపండి

What this lesson is about

ఉచిత నోట్‌బుక్‌లో చిన్న మోడల్‌ను లోడ్ చేసి, దానికి పది ఇన్‌పుట్‌లు పంపండి, మరియు తిరిగి వచ్చినదాన్ని సేవ్ చేయండి.

హిందీలో వచ్చిన పది కస్టమర్ సందేశాలు ఉన్నాయి, ఒక ఉచిత మెషీన్ ఒక గంట పాటు అందుబాటులో ఉంది. మీరు వాటితో ఏమి చేస్తారు?

Why this matters

ఒక లైన్ మోడల్ పేరును చెప్పి దాన్ని నడపడానికి సెట్ చేస్తుంది, తదుపరి లైన్ మీ టెక్స్ట్‌ను పంపుతుంది. ఉచిత యంత్రంలో మీరు ముందుగా ఎదుర్కొనే పరిమితి ఓర్పు కాదు, మెమరీ. ఉచిత Colab నోట్‌బుక్ 16 GB T4 కార్డ్ ఇస్తుంది, 14 సెప్టెంబర్ 2026 న చదివింది. Colab కార్డ్ గ్యారెంటీ ఇవ్వదు మరియు సెషన్ గరిష్టంగా 12 గంటలలో ముగుస్తుంది. Llama 3.2 1B పూర్తి వెడల్పులో 2,358 MB అవసరం, కాబట్టి అది అలాగే సరిపోతుంది. సరిపోని మోడల్‌ను క్వాంటైజ్ చేస్తారు — చిన్న సంఖ్యలతో నిల్వ చేస్తారు. Transformers డాక్యుమెంట్స్ ప్రకారం 8-బిట్ నిల్వ మెమరీని సగం చేస్తుంది, 4-బిట్ దాన్ని నాలుగవ భాగంగా తగ్గిస్తుంది. Meta కార్డ్ అదే 1B మోడల్ 4-బిట్ QLoRA రూపాన్ని 1,127 MB వద్ద చూపిస్తుంది. డాక్స్ నిజమైన ధర: చిన్న సంఖ్యలు సాధ్యమైనంత ఖచ్చితత్వం ఉంచుతాయి, అంతా కాదు. కాబట్టి క్వాంటైజ్ చేసిన తర్వాత మళ్లీ కొలవండి.

మీరు ఉచిత యంత్రంలో చిన్న మోడల్‌ను లోడ్ చేసి, పది ఇన్‌పుట్‌లు నడిపించి, తిరిగి వచ్చినదాన్ని సేవ్ చేయగలరు.

చిన్న మోడల్‌ను లోడ్ చేసి, దానికి ఇన్‌పుట్‌లు పంపండి, అవుట్‌పుట్‌లను చదవగలిగే చోట సేవ్ చేయండి.
మీ సమయం కంటే మెమరీ ముందే ముగుస్తుంది; సాధారణ పరిష్కారం చిన్న మోడల్ తీసుకోవడం.
అవుట్‌పుట్‌లతో పాటు మోడల్ పూర్తి పేరు మరియు వెర్షన్‌ను సేవ్ చేయండి, లేకపోతే పనిని మళ్లీ చేయలేరు.

Task

ఉచిత యంత్రంలో చిన్న ఓపెన్ మోడల్‌లో హిందీ కస్టమర్ సందేశాలు పది నడపడం.

Weak approach అన్ని పది సందేశాలను నడిపించి, స్క్రీన్‌పై వచ్చిన జవాబులను చదివి అవి సరైనవని ఒప్పుకోవడం. గంట ముగిసినప్పుడు ట్యాబ్ మూసివేయబడుతుంది మరియు నడిపిన దాని ఏ గుర్తు ఉండదు.

Stronger approach ఉచిత Colab T4 పై Llama 3.2 1B Instruct ను పూర్తి వెడల్పులో లోడ్ చేస్తున్నాం, ఎందుకంటే 2,358 MB 16 GB లో సరిపోతుంది. అన్ని పది సందేశాలను పంపించి, ప్రతి జవాబును దాని సందేశం పక్కన షీట్‌లో ఉంచుతున్నాం. షీట్ టాప్ రోలో మోడల్ పూర్తి పేరు, లోడ్ చేసిన వెడల్పు, మరియు నడిచిన రోజు ఉంటుంది.

Why the stronger approach works నడిపించి సేవ్ చేయని రన్‌ను రేపటి రన్ పక్కన పెట్టలేరు. ఆ పోలికే మీరు నడిపిన కారణం.

Try a changed situation కస్టమర్ కోసం పొడవైన వీడియో ఎడిట్ చేస్తున్నప్పుడు మీ ఫోన్ ఆగిపోతుంది, యాప్ ఎటువంటి హెచ్చరిక లేకుండా మూసివేస్తుంది. మీరు మొదట ఏం ప్రయత్నిస్తారు?

Make something yourself ఒక మోడల్‌ను లోడ్ చేసి మీ స్వంత పది ఇన్‌పుట్‌లను నడిపించే నోట్‌బుక్‌ను సేవ్ చేయండి. అవుట్‌పుట్‌లను ఒక ఫైల్‌లో రాయండి, ఫైల్ టాప్‌లో మోడల్ పేరు మరియు తేదీ ఉంచండి.

Read the primary or official source: Hugging Face Transformers · quickstart