Guides et analyses

Combien de mémoire faut-il pour un LLM local ? Tableau de 10 modèles

La taille de chaque modèle en 4 bits, la mémoire qu'ajoute le contexte et ce qui tient dans une carte graphique de 24 ou 32 Go face à une machine de 128 ou 192 Go.

4 min de lecture

Memoria necesaria para ejecutar LLM en local

En bref

  • Règle rapide : en 4 bits, un modèle occupe entre 0,5 et 0,6 Go par milliard de paramètres.
  • À la taille du modèle s'ajoute la mémoire du contexte, de quelques Go à plusieurs dizaines selon le modèle et la longueur de la conversation.
  • Avec 128 Go de mémoire unifiée, des modèles jusqu'à environ 120 milliards de paramètres tiennent ; avec 192 Go, Qwen3-235B aussi.

Calculer la taille d'un modèle

La taille d'un modèle dépend de deux choses : son nombre de paramètres et le nombre de bits utilisés pour chacun. Le calcul approximatif est :

taille (Go) ≈ paramètres (en milliards) × bits par paramètre ÷ 8

Les formats les plus courants pour faire tourner des modèles en local sont les fichiers GGUF de llama.cpp. La quantification Q4_K_M, la plus utilisée, emploie en moyenne environ 4,8 bits par paramètre ; Q8_0 en utilise 8,5 et le format d'origine FP16, 16.

Un exemple : Llama 3.3 70B en Q4_K_M occupe 70 × 4,85 ÷ 8 ≈ 42,4 Go, et le fichier publié pèse 42,5 Go. Le même modèle en FP16 occuperait environ 140 Go.

Tableau : dix modèles et où ils tiennent

Nous considérons qu'un modèle tient si, en plus de sa taille, 8 Go restent libres pour le contexte. Pour les machines à mémoire unifiée, nous retenons la mémoire qu'AMD permet d'attribuer au GPU : 96 Go sur les machines de 128 Go (sous Windows) et 160 Go sur celles de 192 Go.

ModèleParamètres (total · actifs)FormatTailleCarte de 24 GoCarte de 32 GoMachine 128 GoMachine 192 Go
gpt-oss-20b21B · 3,6BMXFP412,1 GoOuiOuiOuiOui
Gemma 4 26B A4B26B · 4BQ4_K_M17,0 GoNonOuiOuiOui
Qwen3.6-35B-A3B35B · 3BQ4_K_M22,1 GoNonOuiOuiOui
Llama 3.3 70B70B (dense)Q4_K_M42,5 GoNonNonOuiOui
gpt-oss-120b117B · 5,1BMXFP463,4 GoNonNonOuiOui
Llama 4 Scout109B · 17BQ4_K_M65,4 GoNonNonOuiOui
GLM-4.5-Air106B · 12BQ4_K_M73,0 GoNonNonOuiOui
Qwen3.5-122B-A10B122B · 10BQ4_K_M76,5 GoNonNonOuiOui
Qwen3-235B-A22B235B · 22BQ4_K_M142,2 GoNonNonNonOui
DeepSeek-V3.1671B · 37BQ4_K_M405,4 GoNonNonNonNon

Taille des fichiers GGUF publiés sur Hugging Face (ggml-org, bartowski et unsloth), mesurée le 19/10/2026. « B » désigne des milliards de paramètres ; pour les modèles MoE, le second chiffre indique les paramètres actifs par token.

Le même tableau, avec la colonne de la machine que vous regardez mise en valeur, se trouve dans la section Quels modèles tiennent de notre page d'accueil.

Le contexte occupe aussi de la mémoire

Pendant la conversation, le modèle garde en mémoire un cache avec des informations sur chaque token du contexte (le cache KV). Sa taille dépend de l'architecture du modèle et augmente linéairement avec la longueur de la conversation.

Un exemple avec Llama 3.3 70B, qui compte 80 couches et 8 têtes d'attention partagées de 128 dimensions : chaque token occupe 2 × 80 × 8 × 128 × 2 octets, soit environ 0,33 Mo en FP16. Avec 32 000 tokens de contexte, cela fait environ 10 Go ; avec 128 000 tokens, environ 42 Go, presque autant que le modèle lui-même.

Deux astuces réduisent ce chiffre : limiter le contexte à ce dont vous avez vraiment besoin et quantifier le cache en 8 bits, ce qui le divise par deux. Beaucoup de modèles récents utilisent en outre des mécanismes d'attention qui occupent moins par token.

MoE ou dense : la mémoire ne fait pas tout

Un modèle MoE (« mixture of experts ») doit être entièrement en mémoire, mais n'utilise qu'une partie de ses paramètres à chaque token. Il occupe donc autant qu'un grand modèle mais répond comme un petit : gpt-oss-120b, avec 117 milliards de paramètres dont 5,1 milliards actifs, dépasse 50 tokens/s sur un Ryzen AI Max+ 395 selon des tests publiés, alors qu'un modèle dense d'environ 70 milliards tourne autour de 4 tokens/s.

En pratique, les modèles MoE sont ceux qui tirent le mieux parti d'une machine dotée de beaucoup de mémoire et d'une bande passante modérée. Les chiffres et leurs sources sont dans Performances du Ryzen AI Max+ 395 avec des LLM locaux.

Combien de mémoire le GPU peut utiliser

  • Windows : depuis le pilote AMD Software: Adrenalin Edition 25.8.1, AMD permet d'attribuer jusqu'à 96 Go au GPU sur une machine Ryzen AI Max+ 395 de 128 Go grâce à Variable Graphics Memory.
  • Linux : par défaut, le GPU peut utiliser environ la moitié de la mémoire système ; AMD explique comment relever cette limite avec l'outil amd-ttm (jusqu'à 100 Go dans son exemple).
  • Ryzen AI Max+ PRO 495 : selon AMD, le GPU peut utiliser jusqu'à 160 Go sur les 192 Go.

C'est pourquoi notre tableau retient 96 et 160 Go : la limite garantie par AMD sous Windows et une référence prudente sous Linux.

Quelle machine choisir

  • Modèles jusqu'à environ 20 milliards de paramètres (gpt-oss-20b) : un mini PC de 32 Go comme le HX 370 Slim, pour 1 099 €.
  • Modèles jusqu'à environ 35 milliards de paramètres : une carte graphique de 32 Go suffit et elle est très rapide.
  • Entre 70 et 120 milliards de paramètres (Llama 3.3 70B, gpt-oss-120b, GLM-4.5-Air, Qwen3.5-122B) : une machine de 128 Go comme le 395 Compact.
  • Qwen3-235B ou plusieurs modèles à la fois : 192 Go, comme le PRO 495 Gold.

Vous hésitez entre 128 et 192 Go ? Nous l'expliquons dans le guide d'achat des mini PC pour l'IA locale.

Sources

À lire aussi

Des mini PC pour faire tourner l'intelligence artificielle en local, sur votre propre machine. Livraison dans toute l'Union européenne.

Livraison gratuite dans l'UE · 14 jours de rétractation · Garantie légale de 3 ans

Moyens de paiement
  • American Express
  • Maestro
  • Mastercard
  • PayPal
  • Visa

© 2026 RobitoPC · AMD, Ryzen et Radeon sont des marques d'Advanced Micro Devices, Inc. Boutique indépendante, sans lien avec AMD.

Site réalisé par milenaweb.es