യന്ത്രം വിവർത്തനം ചെയ്തതാണ്. ഇംഗ്ലീഷ്, ഹിന്ദി പരിശോധിച്ച പതിപ്പുകളാണ്.Englishहिन्दी
Learn
See
Try
Make
ഒരു സൗജന്യ യന്ത്രത്തിൽ ഒരു മോഡൽ ഓടിക്കുക
What this lesson is about
ഒരു സൗജന്യ നോട്ട്ബുക്കിൽ ചെറിയ മോഡൽ ലോഡ് ചെയ്ത്, അതിലേക്ക് പത്ത് ഇൻപുട്ടുകൾ അയച്ച്, തിരിച്ചെത്തിയതെല്ലാം സേവ് ചെയ്യുക.
ഹിന്ദിയിൽ വന്ന പത്ത് കസ്റ്റമർ സന്ദേശങ്ങൾ കാത്തിരിക്കുന്നു, ഒരു സൗജന്യ മെഷീൻ ഒരു മണിക്കൂർ തുറന്നിരിക്കുന്നു. അവയുമായി നിങ്ങൾ എന്ത് ചെയ്യും?
Why this matters
ഒരു വരി മോഡലിന്റെ പേര് പറഞ്ഞ് അത് ഓടിക്കാൻ സജ്ജമാക്കുന്നു, അടുത്ത വരി നിങ്ങളുടെ എഴുത്ത് അയയ്ക്കുന്നു. ഒരു സൗജന്യ യന്ത്രത്തിൽ ആദ്യം നേരിടുന്നത് ക്ഷമയല്ല, മെമ്മറി ആണ്. ഒരു സൗജന്യ Colab നോട്ട്ബുക്ക് 16 GB ഉള്ള T4 കാർഡ് നൽകുന്നു, 14 സെപ്റ്റംബർ 2026-ന് വായിച്ചു. Colab കാർഡിന് ഗ്യാരണ്ടി ഇല്ലെന്നും ഒരു സെഷൻ പരമാവധി 12 മണിക്കൂർ മാത്രമേ നീണ്ടുനിൽക്കൂ എന്നും പറയുന്നു. Llama 3.2 1B പൂർണ്ണ വീതിയിൽ 2,358 MB ആവശ്യമാണ്, അതിനാൽ അതുപോലെ തന്നെ ഫിറ്റ് ആകുന്നു. ഫിറ്റ് ആകാത്ത മോഡലുകൾ ക്വാണ്ടൈസ് ചെയ്യപ്പെടുന്നു — ചെറിയ സംഖ്യകളായി സൂക്ഷിക്കുന്നു. Transformers ഡോക്യുമെന്റുകൾ 8-ബിറ്റ് സംഭരണം മെമ്മറി അർദ്ധമാക്കും, 4-ബിറ്റ് അതിന്റെ പാദം വരെ കുറയ്ക്കും എന്ന് പറയുന്നു. Metaയുടെ കാർഡിൽ അതേ 1B മോഡലിന്റെ 4-ബിറ്റ് QLoRA ബിൽഡ് 1,127 MB ആയി കാണിക്കുന്നു. ഡോക്യുമെന്റുകളുടെ സത്യസന്ധ വില: ചെറിയ സംഖ്യകൾ സാധ്യമായത്ര കൃത്യത നിലനിർത്തുന്നു, മുഴുവൻ അല്ല. അതിനാൽ ക്വാണ്ടൈസ് ചെയ്ത ശേഷം വീണ്ടും അളക്കുക.