मुफ्त मशीनवर एक मॉडेल चालवा

एक ओळ मॉडेलचे नाव सांगते आणि ते चालवण्यासाठी तयार करते, आणि पुढील ओळ तुमचा मजकूर पाठवते. मोफत मशीनवर पहिला मर्यादा येतो तो सहनशक्ती नव्हे तर मेमरी असते. मोफत Colab नोटबुक 16 GB चा T4 कार्ड देते, 14 सप्टेंबर 2026 रोजी वाचले. Colab सांगते की कार्डची हमी नाही आणि सत्र जास्तीत जास्त 12 तासांनंतर संपते. Llama 3.2 1B ला पूर्ण रुंदीवर 2,358 MB लागतात, त्यामुळे तो तसाच बसतो. जो मॉडेल बसत नाही तो क्वांटाइज केला जातो — म्हणजे लहान संख्यांमध्ये साठवला जातो. Transformers च्या दस्तऐवजांनुसार 8-बिट साठवणूक मेमरी अर्धी करते आणि 4-बिट ती चौथी भाग करते. Meta च्या कार्डवर त्याच 1B मॉडेलचा 4-बिट QLoRA आवृत्ती 1,127 MB वर दाखवला आहे. दस्तऐवजांची खरी किंमत: लहान संख्या शक्य तितकी अचूकता टिकवतात, पण पूर्ण नाही. त्यामुळे क्वांटाइज केल्यानंतर पुन्हा मोजा.