मुफ़्त मशीन पर मॉडल चलाएँ

एक पंक्ति मॉडल का नाम लेकर उसे चलाने का रास्ता बना देती है, और अगली पंक्ति उसमें आपका लिखा भेज देती है। मुफ़्त मशीन पर सबसे पहले मेमोरी ख़त्म होती है, सब्र नहीं। मुफ़्त कोलैब नोटबुक 16 जीबी वाला T4 कार्ड देती है, 14 सितंबर 2026 को पढ़ा। कोलैब कहता है कि कार्ड की गारंटी नहीं है और सत्र ज़्यादा से ज़्यादा 12 घंटे में ख़त्म हो जाता है। लामा 3.2 1B को पूरी चौड़ाई पर 2,358 एमबी चाहिए, इसलिए वह वैसे ही समा जाता है। जो मॉडल न समाए उसे क्वांटाइज़ किया जाता है, यानी छोटी संख्याओं में जमा किया जाता है। ट्रांसफ़ॉर्मर्स के दस्तावेज़ कहते हैं कि 8-बिट में रखने से मेमोरी आधी और 4-बिट में चौथाई रह जाती है। मेटा का कार्ड उसी 1B मॉडल का 4-बिट रूप 1,127 एमबी पर दिखाता है। ईमानदार क़ीमत, दस्तावेज़ के अपने शब्दों में: छोटी संख्याएँ जितनी सटीकता बचा सकें बचाती हैं, पूरी नहीं। इसलिए क्वांटाइज़ करने के बाद दोबारा नापें।