- Inscrit en novembre 2026
- 2 messages
C’est la question que je reçois le plus, alors je pose ici la méthode que j’utilise, plutôt que de refaire le calcul à chaque fois en message privé.
Il y a deux choses qui occupent la mémoire de la carte graphique : les poids du modèle, et le cache de contexte (le cache K/V). Les gens oublient presque toujours le deuxième.
1. Les poids
Taille ≈ nombre de paramètres × nombre de bits par poids ÷ 8. En pleine précision F16, c’est 2 octets par paramètre : un modèle de 8 milliards de paramètres pèse autour de 15 Go, donc pas pour une carte grand public. Tout l’intérêt de la quantification est là. Les chiffres que donne llama.cpp pour Llama 3.1 8B :
- Q4_K_M : environ 4,9 bits par poids, 4,58 Gio
- Q5_K_M : 5,33 Gio
- Q6_K : 6,14 Gio
- Q8_0 : 7,95 Gio
- F16 : 14,96 Gio
Avec la même règle, un 70B en Q4_K_M tourne autour de 40 Gio. Sur une seule carte de 24 Go, oubliez, ou alors en déchargeant une partie sur le processeur et en acceptant que ça rame.
2. Le cache de contexte
Il grossit avec la longueur du contexte. Le calcul : 2 × nombre de couches × nombre de têtes K/V × dimension d’une tête × octets par valeur, par token. Pour Llama 3.1 8B (32 couches, 8 têtes K/V, dimension 128, en f16), ça fait 128 Kio par token. Donc 1 Gio pour 8 192 tokens de contexte, et 4 Gio pour 32 768.
C’est là que je me suis fait avoir la première fois : un 8B en Q4_K_M rentre très bien sur une carte de 8 Go avec 8k de contexte, et ne rentre plus du tout quand on pousse à 32k. Le modèle déborde sur la RAM et la vitesse s’écroule.
3. Les réglages qui aident, sous Ollama
ollama ps: la colonne PROCESSOR dit tout. « 100% GPU », c’est bon. Un partage du genre « 48%/52% CPU/GPU », c’est que ça déborde.- Le contexte par défaut est de 4096 tokens d’après leur FAQ. On le change avec
OLLAMA_CONTEXT_LENGTHau lancement du serveur, ounum_ctxpar requête. OLLAMA_KV_CACHE_TYPE=q8_0divise à peu près par deux la mémoire du cache, avec une perte de précision très faible. Il faut que Flash Attention soit active, et le réglage s’applique à tous les modèles. Le q4_0 divise par quatre mais j’ai vu la qualité baisser sur les longs documents, je ne le conseille pas.
Ma règle pratique : poids + cache + un bon gigaoctet de marge pour le reste, et on vérifie avec ollama ps plutôt que de croire le calcul. Si vous voulez que je regarde votre config, donnez carte, VRAM, modèle et longueur de contexte visée.