இலவச இயந்திரத்தில் ஒரு மாடலை இயக்கவும்

ஒரு வரி மாதிரியின் பெயரை குறிப்பிடுகிறது மற்றும் அதை இயக்கத் தயாராக செய்கிறது, அடுத்த வரி உங்கள் உரையை அனுப்புகிறது. இலவச இயந்திரத்தில் முதலில் சந்திக்கும் வரம்பு பொறுமை அல்ல, நினைவகமே ஆகும். ஒரு இலவச Colab நோட்புக் 16 GB கொண்ட T4 கார்டை வழங்குகிறது, 14 செப்டம்பர் 2026 அன்று படிக்கப்பட்டது. Colab கார்டு உறுதி செய்யப்படவில்லை என்றும் ஒரு அமர்வு அதிகபட்சம் 12 மணி நேரம் மட்டுமே இருக்கும் என்றும் கூறுகிறது. Llama 3.2 1B முழு அகலத்தில் 2,358 MB தேவைப்படுவதால் அது அதேபோல் பொருந்துகிறது. பொருந்தாத மாதிரிகள் குறுகிய எண்களுடன் சேமிக்கப்படுவதால் குறைக்கப்படுகின்றன. Transformers ஆவணங்கள் 8-பிட் சேமிப்பு நினைவகத்தை பாதி குறைக்கும் என்றும் 4-பிட் சேமிப்பு அதை நான்கில் ஒன்றாக குறைக்கும் என்றும் கூறுகின்றன. Meta கார்டு அதே 1B மாதிரியின் 4-பிட் QLoRA பதிப்பை 1,127 MB ஆகக் காட்டுகிறது. ஆவணங்களில் உள்ள உண்மையான விலை: குறுகிய எண்கள் சாத்தியமான அளவு துல்லியத்தைக் காக்கின்றன, முழுமையாக அல்ல. ஆகவே குறைக்கப்பட்ட பிறகு மீண்டும் அளவிடுங்கள்.