¿Qué LLM para 32 GB de VRAM? ?

#32 GB de VRAM: qué cambia con esta capacidad respecto a 24 GB

Un modelo en Q4 ocupa aproximadamente 0,6 GB por cada mil millones de parámetros, más la caché de contexto, que crece con la longitud de la conversación. Con 24 GB, cabe un modelo denso de 27 a 32B en Q4 (16 a 20 GB), pero el contexto debe mantenerse corto. Con 32 GB, quedan de 12 a 16 GB para el contexto, las activaciones y el sistema: ese presupuesto permite ventanas de 32.000 a 128.000 tokens en un modelo de 27B, o un MoE de 30-35B con un margen cómodo.

Estos valores son tamaños de archivos, no requisitos totales: la calculadora del sitio añade la caché para un modelo y un contexto determinados. La caché también puede cuantizarse en q8_0, lo que, según las preguntas frecuentes de Ollama, reduce su tamaño aproximadamente a la mitad respecto a f16, siempre que se active Flash Attention.

• Calculadora de memoria para un modelo y su contexto
• Cuantizar la caché KV para ahorrar memoria

#Qué tarjetas ofrecen 32 GB y por qué importa el ancho de banda

Dos tarjetas de escritorio se distinguen. La GeForce RTX 5090 incluye 32 GB de GDDR7 en un bus de 512 bits, con 1.792 GB/s de ancho de banda según NVIDIA. La Radeon AI PRO R9700 de AMD también ofrece 32 GB, pero en GDDR6 en un bus de 256 bits, a 640 GB/s según AMD, para un ordenador de escritorio y uso profesional. La capacidad es idéntica; la velocidad de generación no lo es.

El límite se calcula dividiendo el ancho de banda entre los pesos leídos en cada token; nunca se alcanza por completo, pero la relación sigue siendo válida: con el mismo modelo, la RTX 5090 genera a más del doble de velocidad que la R9700. En una tarjeta AMD, el controlador y la pila de software (ROCm, Vulkan) también cuentan; la guía dedicada a las tarjetas AMD detalla las limitaciones. Cada tarjeta concreta tiene su propia página: la de la RTX 5090 ofrece los detalles de esa tarjeta.

Otras dos vías permiten alcanzar 32 GB. Dos tarjetas de 16 GB se reparten un modelo con llama.cpp, pero la conexión PCIe ralentiza los intercambios y el modelo debe dividirse adecuadamente; la guía multi-GPU explica el método. Un Mac con memoria unificada de 32 GB o más es una tercera opción, con un ancho de banda menor pero sin límite de VRAM dedicada.

Los precios cambian rápido: el seguimiento del sitio revisa cada lunes y cada jueves el precio más bajo de las tarjetas gráficas para IA local, con el precio por GB de VRAM.

• Seguimiento de precios de tarjetas gráficas para IA local
• LLM en RTX 5090
• Configuración multi-GPU con llama.cpp

#Los modelos que conviene elegir con 32 GB

Modelos densos de 27 a 32B

La opción para priorizar la calidad: Qwen 3.5 27B o 3.8 27B (16 GB en Q4), Gemma 4 31B (18 GB), Qwen 3 32B (19 a 20 GB). Dejan espacio para un contexto largo y se adaptan bien a cuantizaciones más finas (Q5, Q6) si quieres más calidad.

MoE 30-35B

Qwen3-Coder 30B-A3B (19 GB) y Qwen 3.6 35B-A3B (21 GB) solo activan unos 3 mil millones de parámetros por token: ofrecen la mayor velocidad para su tamaño y son la opción adecuada para el código y los agentes.

gpt-oss-20b

14 GB en la biblioteca Ollama ; la página Ollama indica que puede ejecutarse en sistemas con al menos 16 GB de memoria. En 32 GB, ofrece un contexto inmenso y permite mantener cargado simultáneamente un segundo modelo.

Modelo de código de 24B

Devstral Small 2 24B (14 GB): un especialista en agentes de código que deja espacio para dos modelos residentes.

Para elegir, hazte tres preguntas. ¿Debe el modelo adaptarse a un contexto largo (documentos, repositorio de código)? Elige un modelo denso de 27 B en Q4, que deja 16 GB para la caché. ¿Necesitas velocidad (agentes, bucles de herramientas)? El MoE. ¿Simplemente quieres más calidad que con 24 GB? Pasa de Q4 a Q6 en un modelo de 27 a 32B: hay espacio.

• Explicación de los modelos MoE
• Elegir tu cuantización

#Verificar que el modelo realmente quepa en la tarjeta

Un modelo que «se carga» no necesariamente está por completo en la GPU. Ollama reparte silenciosamente las capas entre la tarjeta y la memoria RAM cuando falta VRAM, y la velocidad cae sin ningún mensaje de error. La FAQ oficial indica que el comando ollama ps muestra en la columna Processor dónde se ha cargado el modelo: 100 % GPU significa que está íntegramente en la GPU; una distribución como 30 %/70 % CPU/GPU indica que parte del modelo se ha descargado a la RAM.

1. 01
   Cargar el modelo con el contexto objetivo

   Ejecuta el modelo con el tamaño de contexto que realmente necesitas para tu uso, no con el valor predeterminado: es la caché de contexto la que hace que se supere la capacidad de memoria.
2. 02
   Leer la columna Processor

   Ejecuta ollama ps en otro terminal. Busca que indique 100 % GPU; cualquier parte ejecutada en la CPU reduce la velocidad.
3. 03
   Reducir si es necesario

   Si el modelo supera el límite, reduce el contexto, activa la cuantización de la caché en q8_0 con Flash Attention o pasa a una cuantización más ligera.
4. 04
   Controlar la VRAM restante

   En Windows o Linux, nvidia-smi muestra la memoria utilizada; deja un margen de uno a dos GB para la visualización y los picos.
5. 05
   Medir con tu uso real

   Compara el rendimiento con un prompt corto y con tu prompt real: el segundo número es el que cuenta.

• Ollama en tarjetas AMD con ROCm
• Solucionar errores de GPU de Ollama

#70B y 123B: ¿por qué el offload no hace que estos modelos sean utilizables?

Llama 3.3 70B pesa 43 GB en la biblioteca de Ollama, y Mistral Large 123B, 73 GB. Con 32 GB de VRAM, por tanto, hay que mantener al menos 11 GB del 70B y 41 GB del 123B en la RAM del sistema. Por cada token, el procesador lee estas capas a la velocidad de la memoria del sistema: aproximadamente 102 GB/s como máximo con DDR5-6400 de doble canal (6 400 MT/s × 8 bytes × 2). Al dividir ese ancho de banda entre 41 GB, el límite del 123B es de aproximadamente 2,5 tokens por segundo; para el 70B, con 11 GB en RAM, es de aproximadamente 9 tokens por segundo. Son límites máximos, no mediciones: muestran sobre todo que la velocidad no se degrada de forma progresiva, sino por escalones, en cuanto las capas salen de la tarjeta.

Este cálculo supone que la tarjeta mantiene 32 GB de pesos; en la práctica, la caché de contexto también ocupa espacio, por lo que una mayor parte de los pesos pasa a la RAM y el límite baja. Los MoE se comportan mejor: llama.cpp ofrece una opción para mantener los expertos de ciertas capas en el procesador (--n-cpu-moe), para configuraciones que no pueden cargar el modelo completo en la GPU. Esta opción permite ejecutar un modelo que no cabe, pero un usuario del repositorio llama.cpp señala una pérdida de velocidad de aproximadamente el 80 % al colocar todos los expertos en la CPU: es una solución de último recurso.

llama-server -m modele-moe.gguf -ngl 99 -fa --n-cpu-moe 12 -c 16384

El valor de --n-cpu-moe depende de tu memoria; hay que encontrarlo mediante pruebas. Para un 70B denso, la respuesta correcta con 32 GB es casi siempre un modelo más pequeño o más memoria, no el offload.

#Ajustar un modelo con 32 GB: lo que cabe y lo que no

El ajuste fino con QLoRA mantiene los pesos del modelo en 4 bits y solo entrena pequeños adaptadores. Solo los pesos de un 70B ya ocupan 40 GB, por lo que un ajuste con QLoRA sobre un 70B no cabe en 32 GB. Un 32B en 4 bits ocupa aproximadamente entre 19 y 20 GB: quedan 12 GB para las activaciones, el optimizador y los adaptadores, lo cual es factible con un contexto corto y un lote de 1, sin margen de seguridad. Un modelo de entre 7B y 14B funciona con holgura. Son órdenes de magnitud que debes confirmar en la herramienta que utilices.

#32 GB de VRAM o otra solución: el cuadro de decisión

• ¿Qué LLM para 24 GB de VRAM?
• Mac Studio de 64 a 512 GB
• Fuente: NVIDIA, anuncio de RTX 50
• Fuente: AMD, Radeon AI PRO R9700
• Fuente: biblioteca Ollama, Mistral Large

#Preguntas frecuentes