Aller au contenu
Super Intelligence Forum
Nouveau sujet Connexion S’inscrire

Combien de VRAM pour faire tourner un LLM en local ? Ma méthode de calcul

Épinglé IA en local et technique 1 réponse Répondre
Antoine DelaunayA lancé le forum
  • Inscrit en novembre 2026
  • 2 messages
Auteur du sujet

C’est la question que je reçois le plus, alors je pose ici la méthode que j’utilise, plutôt que de refaire le calcul à chaque fois en message privé.

Il y a deux choses qui occupent la mémoire de la carte graphique : les poids du modèle, et le cache de contexte (le cache K/V). Les gens oublient presque toujours le deuxième.

1. Les poids

Taille ≈ nombre de paramètres × nombre de bits par poids ÷ 8. En pleine précision F16, c’est 2 octets par paramètre : un modèle de 8 milliards de paramètres pèse autour de 15 Go, donc pas pour une carte grand public. Tout l’intérêt de la quantification est là. Les chiffres que donne llama.cpp pour Llama 3.1 8B :

  • Q4_K_M : environ 4,9 bits par poids, 4,58 Gio
  • Q5_K_M : 5,33 Gio
  • Q6_K : 6,14 Gio
  • Q8_0 : 7,95 Gio
  • F16 : 14,96 Gio

Avec la même règle, un 70B en Q4_K_M tourne autour de 40 Gio. Sur une seule carte de 24 Go, oubliez, ou alors en déchargeant une partie sur le processeur et en acceptant que ça rame.

2. Le cache de contexte

Il grossit avec la longueur du contexte. Le calcul : 2 × nombre de couches × nombre de têtes K/V × dimension d’une tête × octets par valeur, par token. Pour Llama 3.1 8B (32 couches, 8 têtes K/V, dimension 128, en f16), ça fait 128 Kio par token. Donc 1 Gio pour 8 192 tokens de contexte, et 4 Gio pour 32 768.

C’est là que je me suis fait avoir la première fois : un 8B en Q4_K_M rentre très bien sur une carte de 8 Go avec 8k de contexte, et ne rentre plus du tout quand on pousse à 32k. Le modèle déborde sur la RAM et la vitesse s’écroule.

3. Les réglages qui aident, sous Ollama

  • ollama ps : la colonne PROCESSOR dit tout. « 100% GPU », c’est bon. Un partage du genre « 48%/52% CPU/GPU », c’est que ça déborde.
  • Le contexte par défaut est de 4096 tokens d’après leur FAQ. On le change avec OLLAMA_CONTEXT_LENGTH au lancement du serveur, ou num_ctx par requête.
  • OLLAMA_KV_CACHE_TYPE=q8_0 divise à peu près par deux la mémoire du cache, avec une perte de précision très faible. Il faut que Flash Attention soit active, et le réglage s’applique à tous les modèles. Le q4_0 divise par quatre mais j’ai vu la qualité baisser sur les longs documents, je ne le conseille pas.

Ma règle pratique : poids + cache + un bon gigaoctet de marge pour le reste, et on vérifie avec ollama ps plutôt que de croire le calcul. Si vous voulez que je regarde votre config, donnez carte, VRAM, modèle et longueur de contexte visée.

Répondre
    • Inscrit en novembre 2026
    • 3 messages

    Merci Antoine, on l’épingle dans la rubrique, ça évitera pas mal de sujets en double. Pour ceux qui postent leur config ensuite, pensez à copier la sortie de ollama ps plutôt qu’une capture, c’est plus lisible.

    Répondre

Répondre au sujet

Signaler un message