ફ્રી મશીન પર મોડેલ ચલાવો

એક પંક્તિ મોડેલનું નામ આપે છે અને તેને ચલાવવા તૈયાર કરે છે, અને બીજી પંક્તિમાં તમારું લખાણ મોકલે છે. મફત મશીન પર પહેલી મર્યાદા મેમરી હોય છે, ધીરજ નહીં. મફત Colab નોટબુક 16 GB સાથે T4 કાર્ડ આપે છે, 14 સપ્ટેમ્બર 2026 સુધી વાંચ્યું. Colab કહે છે કે કાર્ડની ગેરંટી નથી અને સત્ર મહત્તમ 12 કલાકમાં સમાપ્ત થાય છે. Llama 3.2 1B ને સંપૂર્ણ પહોળાઈ માટે 2,358 MB જોઈએ, એટલે તે તે જ રીતે ફિટ થાય છે. જે મોડેલ ફિટ ન થાય તેને ક્વાન્ટાઇઝ કરવામાં આવે છે — ટૂંકા આંકડાઓમાં સંગ્રહિત. Transformers દસ્તાવેજો કહે છે કે 8-બિટ સ્ટોરેજ મેમરી અડધી કરે છે અને 4-બિટ તેને ચોથાઈ સુધી લાવે છે. Meta ના કાર્ડ પર એ જ 1B મોડેલનું 4-બિટ QLoRA સંસ્કરણ 1,127 MB પર છે. દસ્તાવેજોની સાચી કિંમત: ટૂંકા આંકડાઓ શક્ય તેટલી ચોકસાઈ જાળવે છે, સંપૂર્ણ નહીં. એટલે ક્વાન્ટાઇઝ કર્યા પછી ફરી માપો.