ಉಚಿತ ಯಂತ್ರದಲ್ಲಿ ಮಾದರಿಯನ್ನು ಓಡಿಸಿ

ಒಂದು ಸಾಲು ಮಾದರಿಯ ಹೆಸರನ್ನು ಹೇಳಿ ಅದನ್ನು ಓಡಿಸಲು ಸಿದ್ಧಪಡಿಸುತ್ತದೆ, ಮತ್ತು ಮುಂದಿನ ಸಾಲು ನಿಮ್ಮ ಪಠ್ಯವನ್ನು ಕಳುಹಿಸುತ್ತದೆ. ಉಚಿತ ಯಂತ್ರದಲ್ಲಿ ಮೊದಲು ನೀವು ಎದುರಿಸುವ ಮಿತಿ ಮೆಮೊರಿ, ಸಹನೆ ಅಲ್ಲ. ಉಚಿತ Colab ನೋಟ್ಬುಕ್ 16 GB ಇರುವ T4 ಕಾರ್ಡ್ ಒದಗಿಸುತ್ತದೆ, 14 ಸೆಪ್ಟೆಂಬರ್ 2026 ರಂದು ಓದಲಾಗಿದೆ. Colab ಕಾರ್ಡ್ ಖಚಿತವಲ್ಲ ಎಂದು ಹೇಳುತ್ತದೆ ಮತ್ತು ಸೆಷನ್ ಗರಿಷ್ಠ 12 ಗಂಟೆಗಳ ನಂತರ ಮುಗಿಯುತ್ತದೆ. Llama 3.2 1B ಪೂರ್ಣ ಅಗಲದಲ್ಲಿ 2,358 MB ಬೇಕಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದು ಹಾಗೆಯೇ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ. ಹೊಂದದ ಮಾದರಿಯನ್ನು ಕ್ವಾಂಟೈಸ್ ಮಾಡಲಾಗುತ್ತದೆ — ಅಂದರೆ ಚಿಕ್ಕ ಸಂಖ್ಯೆಗಳಾಗಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ. Transformers ಡಾಕ್ಯುಮೆಂಟ್ಸ್ ಹೇಳುತ್ತದೆ 8-ಬಿಟ್ ಸಂಗ್ರಹಣೆ ಮೆಮೊರಿಯನ್ನು ಅರ್ಧಕ್ಕೆ ಇಳಿಸುತ್ತದೆ ಮತ್ತು 4-ಬಿಟ್ ಅದನ್ನು ನಾಲ್ಕನೇ ಭಾಗಕ್ಕೆ ಇಳಿಸುತ್ತದೆ. Meta ಕಾರ್ಡ್ ಅದೇ 1B ಮಾದರಿಯ 4-ಬಿಟ್ QLoRA ರೂಪವನ್ನು 1,127 MB ನಲ್ಲಿ ತೋರಿಸುತ್ತದೆ. ಡಾಕ್ಯುಮೆಂಟ್ಸ್ ನ ಸತ್ಯವಾದ ವೆಚ್ಚ: ಚಿಕ್ಕ ಸಂಖ್ಯೆಗಳು ಸಾಧ್ಯವಾದಷ್ಟು ನಿಖರತೆಯನ್ನು ಉಳಿಸುತ್ತವೆ, ಸಂಪೂರ್ಣವಲ್ಲ. ಆದ್ದರಿಂದ ಕ್ವಾಂಟೈಸ್ ಮಾಡಿದ ನಂತರ ಮತ್ತೆ ಅಳೆಯಿರಿ.