Guías y análisis
¿Cuánta memoria necesita un LLM local? Tabla con 10 modelos
Lo que ocupa cada modelo en 4 bits, cuánta memoria añade el contexto y qué cabe en una tarjeta gráfica de 24 o 32 GB frente a un equipo de 128 o 192 GB.
En resumen
- Regla rápida: en 4 bits, un modelo ocupa entre 0,5 y 0,6 GB por cada 1.000 millones de parámetros.
- Al tamaño del modelo hay que sumar la memoria del contexto, de unos pocos GB a varias decenas según el modelo y la longitud de la conversación.
- Con 128 GB de memoria unificada caben modelos de hasta unos 120.000 millones de parámetros; con 192 GB, también Qwen3-235B.
Cómo calcular lo que ocupa un modelo
El tamaño de un modelo depende de dos cosas: cuántos parámetros tiene y con cuántos bits se guarda cada uno. La cuenta aproximada es:
tamaño (GB) ≈ parámetros (en miles de millones) × bits por parámetro ÷ 8
Los formatos más usados para ejecutar modelos en local son los ficheros GGUF de llama.cpp. La cuantización Q4_K_M, la más habitual, usa de media unos 4,8 bits por parámetro; Q8_0 usa 8,5 bits, y el formato original FP16, 16 bits.
Un ejemplo: Llama 3.3 70B en Q4_K_M ocupa 70 × 4,85 ÷ 8 ≈ 42,4 GB, y el fichero publicado mide 42,5 GB. El mismo modelo en FP16 ocuparía unos 140 GB.
Tabla: diez modelos y dónde caben
Consideramos que un modelo cabe si, además de su tamaño, quedan 8 GB libres para el contexto. Para los equipos con memoria unificada usamos la memoria que AMD permite asignar a la gráfica: 96 GB en los equipos de 128 GB (en Windows) y 160 GB en los de 192 GB.
| Modelo | Parámetros (total · activos) | Formato | Tamaño | Gráfica de 24 GB | Gráfica de 32 GB | Equipo de 128 GB | Equipo de 192 GB |
|---|---|---|---|---|---|---|---|
| gpt-oss-20b | 21B · 3,6B | MXFP4 | 12,1 GB | Sí | Sí | Sí | Sí |
| Gemma 4 26B A4B | 26B · 4B | Q4_K_M | 17,0 GB | No | Sí | Sí | Sí |
| Qwen3.6-35B-A3B | 35B · 3B | Q4_K_M | 22,1 GB | No | Sí | Sí | Sí |
| Llama 3.3 70B | 70B (denso) | Q4_K_M | 42,5 GB | No | No | Sí | Sí |
| gpt-oss-120b | 117B · 5,1B | MXFP4 | 63,4 GB | No | No | Sí | Sí |
| Llama 4 Scout | 109B · 17B | Q4_K_M | 65,4 GB | No | No | Sí | Sí |
| GLM-4.5-Air | 106B · 12B | Q4_K_M | 73,0 GB | No | No | Sí | Sí |
| Qwen3.5-122B-A10B | 122B · 10B | Q4_K_M | 76,5 GB | No | No | Sí | Sí |
| Qwen3-235B-A22B | 235B · 22B | Q4_K_M | 142,2 GB | No | No | No | Sí |
| DeepSeek-V3.1 | 671B · 37B | Q4_K_M | 405,4 GB | No | No | No | No |
Tamaños de los ficheros GGUF publicados en Hugging Face (ggml-org, bartowski y unsloth), medidos el 19/10/2026. «B» son miles de millones de parámetros; en los modelos MoE, el segundo número son los parámetros activos en cada token.
La misma tabla, con la columna del equipo que estás mirando resaltada, está en la sección Qué modelos caben de nuestra portada.
El contexto también ocupa memoria
Mientras conversa, el modelo guarda en memoria una «caché» con información de cada token del contexto (la llamada caché KV). Su tamaño depende de la arquitectura del modelo y crece de forma lineal con la longitud de la conversación.
Un ejemplo con Llama 3.3 70B, que tiene 80 capas y 8 cabezas de atención compartidas de 128 dimensiones: cada token ocupa 2 × 80 × 8 × 128 × 2 bytes, unos 0,33 MB en FP16. Con 32.000 tokens de contexto son unos 10 GB; con 128.000 tokens, unos 42 GB, casi lo mismo que el propio modelo.
Dos trucos reducen esa cifra: limitar el contexto a lo que realmente necesitas y cuantizar la caché a 8 bits, que la reduce a la mitad. Muchos modelos recientes, además, usan mecanismos de atención que ocupan menos por token.
MoE o denso: la memoria no lo es todo
Un modelo MoE («mezcla de expertos») tiene que estar entero en memoria, pero en cada token solo usa una parte de sus parámetros. Por eso ocupa como un modelo grande pero responde como uno pequeño: gpt-oss-120b, con 117.000 millones de parámetros y 5.100 millones activos, supera los 50 tokens/s en un Ryzen AI Max+ 395 según pruebas publicadas, mientras que un modelo denso de unos 70.000 millones ronda los 4 tokens/s.
En la práctica, los modelos MoE son los que mejor aprovechan un equipo con mucha memoria y un ancho de banda moderado. Tienes las cifras y sus fuentes en Rendimiento del Ryzen AI Max+ 395 con LLM locales.
Cuánta memoria puede usar la gráfica
- Windows: desde el controlador AMD Software: Adrenalin Edition 25.8.1, AMD permite asignar hasta 96 GB a la gráfica en un equipo con Ryzen AI Max+ 395 de 128 GB mediante Variable Graphics Memory.
- Linux: por defecto, la gráfica puede usar aproximadamente la mitad de la memoria del sistema; AMD documenta cómo ampliar ese límite con la herramienta amd-ttm (en su ejemplo, hasta 100 GB).
- Ryzen AI Max+ PRO 495: según AMD, la gráfica puede usar hasta 160 GB de los 192 GB.
Por eso nuestra tabla usa 96 y 160 GB: es el límite que AMD garantiza en Windows y una referencia prudente en Linux.
Qué equipo elegir
- Modelos de hasta unos 20.000 millones de parámetros (gpt-oss-20b): un mini PC de 32 GB como el HX 370 Slim, por 1.099 €.
- Modelos de hasta unos 35.000 millones de parámetros: una tarjeta gráfica de 32 GB es suficiente y muy rápida.
- Entre 70.000 y 120.000 millones de parámetros (Llama 3.3 70B, gpt-oss-120b, GLM-4.5-Air, Qwen3.5-122B): un equipo de 128 GB como el 395 Compact.
- Qwen3-235B o varios modelos a la vez: 192 GB, como el PRO 495 Gold.
¿Dudas entre 128 y 192 GB? Lo explicamos en la guía de compra de mini PC para IA local.
Fuentes
- AMD: Ryzen AI Max+ Upgraded: Run up to 128 Billion parameter LLMs on Windows with LM Studio (29/07/2025)
- AMD ROCm: Strix Halo system optimization
- Hugging Face: ficheros GGUF de cada modelo (ggml-org, bartowski y unsloth), medidos el 19/10/2026.