ਮੁਫ਼ਤ ਮਸ਼ੀਨ 'ਤੇ ਮਾਡਲ ਚਲਾਓ

ਇੱਕ ਲਾਈਨ ਮਾਡਲ ਦਾ ਨਾਮ ਦਿੰਦੀ ਹੈ ਅਤੇ ਇਸਨੂੰ ਚਲਾਉਣ ਲਈ ਤਿਆਰ ਕਰਦੀ ਹੈ, ਤੇ ਦੂਜੀ ਲਾਈਨ ਤੁਹਾਡਾ ਟੈਕਸਟ ਭੇਜਦੀ ਹੈ। ਮੁਫ਼ਤ ਮਸ਼ੀਨ 'ਤੇ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਜੋ ਸੀਮਾ ਆਉਂਦੀ ਹੈ ਉਹ ਮੈਮੋਰੀ ਹੁੰਦੀ ਹੈ, ਧੀਰਜ ਨਹੀਂ। ਇੱਕ ਮੁਫ਼ਤ Colab ਨੋਟਬੁੱਕ 16 GB ਵਾਲਾ T4 ਕਾਰਡ ਦਿੰਦੀ ਹੈ, 14 ਸਤੰਬਰ 2026 ਨੂੰ ਵੇਖਿਆ। Colab ਕਹਿੰਦਾ ਹੈ ਕਿ ਕਾਰਡ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਹੈ ਅਤੇ ਸੈਸ਼ਨ ਵੱਧ ਤੋਂ ਵੱਧ 12 ਘੰਟੇ ਚੱਲਦਾ ਹੈ। Llama 3.2 1B ਨੂੰ ਪੂਰੀ ਚੌੜਾਈ 'ਤੇ 2,358 MB ਚਾਹੀਦੇ ਹਨ, ਇਸ ਲਈ ਇਹ ਬਿਨਾਂ ਬਦਲੇ ਫਿੱਟ ਹੋ ਜਾਂਦਾ ਹੈ। ਜੇ ਮਾਡਲ ਫਿੱਟ ਨਹੀਂ ਹੁੰਦਾ ਤਾਂ ਉਸਨੂੰ ਕਵਾਂਟਾਈਜ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ — ਛੋਟੀਆਂ ਗਿਣਤੀਆਂ ਨਾਲ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। Transformers ਦੇ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ 8-ਬਿਟ ਸਟੋਰੇਜ ਮੈਮੋਰੀ ਨੂੰ ਅੱਧਾ ਕਰ ਦਿੰਦਾ ਹੈ ਅਤੇ 4-ਬਿਟ ਇਸਨੂੰ ਇੱਕ ਚੌਥਾਈ ਕਰ ਦਿੰਦਾ ਹੈ। Meta ਦੇ ਕਾਰਡ 'ਤੇ ਉਸੇ 1B ਮਾਡਲ ਦਾ 4-ਬਿਟ QLoRA ਵਰਜਨ 1,127 MB 'ਤੇ ਦਿੱਤਾ ਗਿਆ ਹੈ। ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਸੱਚੀ ਕੀਮਤ: ਛੋਟੀਆਂ ਗਿਣਤੀਆਂ ਜਿੰਨੀ ਸਹੀ ਹੋ ਸਕੇ ਸਹੀ ਰੱਖਦੀਆਂ ਹਨ, ਪਰ ਸਾਰੀ ਨਹੀਂ। ਇਸ ਲਈ ਕਵਾਂਟਾਈਜ਼ ਕਰਨ ਤੋਂ ਬਾਅਦ ਫਿਰ ਮਾਪੋ।