¿Qué LLM en RTX 5090 (32 GB)? ?

#RTX 5090 para un LLM local: lo que permiten 32 GB

Para un LLM local, el valor de una RTX 5090 reside en sus 32 GB de GDDR7 y sus 1 792 GB/s de ancho de banda: mantiene íntegramente en VRAM modelos de 27 a 35 mil millones de parámetros con un contexto largo, mientras que las tarjetas de 24 GB no les dejan suficiente margen. Según la biblioteca de Ollama, Qwen 3.5 27B pesa 17 GB, Qwen 3.8 27B 18 GB, Qwen3 32B y Gemma 4 31B 20 GB, Qwen 3.5 35B y Nemotron 3 Nano 30B 24 GB. Hardware Corner mide entre 59 y 61 tokens por segundo en modelos densos de 27 a 32 mil millones con 4 000 tokens de contexto, y más de 160 en un modelo de expertos de 35 mil millones. Un 70B (43 GB para Llama 3.3 en Q4) sigue sin caber en una sola tarjeta.

Memoria

32 GB de GDDR7 en un bus de 512 bits, según NVIDIA; 1 792 GB/s de ancho de banda, según Hardware Corner.

Cálculo

21 760 núcleos CUDA y Tensor Cores de 5.ª generación, según NVIDIA. Capacidad de cálculo 12.0, admitida por Ollama con un controlador 550 o más reciente.

Consumo

575 W de potencia gráfica y una fuente de alimentación de 1 000 W requerida para el sistema, según NVIDIA, con un cable PCIe Gen 5 de 600 W o un adaptador incluido.

#Los modelos que caben en 32 GB

Los pesos corresponden a los archivos de la biblioteca Ollama, consultados el 29 de septiembre de 2026. El margen es lo que queda de los 32 GB antes de contar el contexto, la caché y los búferes del motor.

Los 32 GB cambian sobre todo el margen: un modelo denso de 27B deja entre 14 y 15 GB para el contexto, frente a entre 6 y 7 GB en una tarjeta de 24 GB, y un modelo cuyos pesos ocupan 24 GB sigue pudiendo cargarse con 8 GB de margen. Eso es lo que hace posibles los contextos de 128k cuyas cifras se detallan más abajo.

• Qué LLM usar con 32 GB de VRAM: la lista completa, independientemente de la tarjeta

#Tasas de generación medidas: lo que aporta la 5090 frente a otras tarjetas

Los números a continuación provienen de Hardware Corner, que realiza pruebas con llama.cpp usando contextos de 4k a 256k. No son mediciones de QuelLLM.

La generación está limitada por el ancho de banda: el límite teórico equivale aproximadamente al ancho de banda dividido por el tamaño del modelo. Para Qwen 3.5 27B (17 GB), 1 792 ÷ 17 da 105 tokens por segundo, y el valor medido, 58,8, alcanza el 56 % de ese límite. Para Qwen3 32B (20 GB), el límite es de 90 y el valor medido de 61,4, es decir, el 68 %. Por tanto, un modelo denso de 27 a 32 mil millones de parámetros funciona a unos 60 tokens por segundo en una 5090.

Con Qwen 3.5 27B, la 5090 genera 1,76 veces más rápido que la 3090 (58,8 frente a 33,5 según dos páginas de Hardware Corner), mientras que el ancho de banda es 1,91 veces mayor (1.792 frente a 936 GB/s). En la clasificación de llama.cpp, la 5090 alcanza aproximadamente entre 290 y 300 tokens por segundo con Llama 2 7B Q4_0, frente a unos 160 para una 3090.

#5090 frente a la 4090 y a la 3090: la diferencia medida

• RTX 5090 y LLM local: memoria, modelos y benchmark detallados

#Contexto y caché KV: planificar el uso de tus 32 GB

Ollama ajusta el contexto por defecto según la memoria de vídeo: su documentación indica 32k tokens para entre 24 y 48 GiB de VRAM y recomienda al menos 64.000 tokens para agentes, búsqueda web y herramientas de código. La 5090 entra en el rango de los 32k, más generoso que los 4k de las tarjetas con menos de 24 GiB. Aumentar el contexto supone un mayor consumo de memoria para la caché KV, que almacena las claves y los valores de atención de cada token leído.

La principal palanca es la cuantización de la caché: según la FAQ de Ollama, q8_0 utiliza aproximadamente la mitad de la memoria de f16, con una pérdida de precisión muy pequeña, y requiere Flash Attention, que Ollama activa automáticamente cuando la tarjeta y el modelo son compatibles con ella. Regla de cálculo: el margen de memoria que queda tras cargar el modelo, menos 1 a 2 GB para búferes, da la memoria disponible para la caché. Con Qwen 3.5 27B (17 GB), quedan más de 13 GB para el contexto, lo que confirma la medición con 128k de Hardware Corner. Comprueba el resultado con ollama ps.

• Cuantizar la caché KV para ahorrar VRAM con contextos largos

#FP4, NVFP4, MXFP4: lo que realmente cambia Blackwell

Blackwell introduce el formato NVFP4: según NVIDIA, un formato de punto flotante de 4 bits, con un factor de escala por bloque de 16 valores frente a los 32 de MXFP4, lo que permite un escalado más fino. Hardware Corner indica que la 5090 acelera NVFP4 por hardware. Q4_K_M, por su parte, es una cuantización por bloques de llama.cpp: ambos no se contraponen en teoría, son formatos de archivo diferentes, y un modelo solo existe en uno u otro si alguien lo ha convertido.

En la práctica, la fila de Qwen 3.5 35B en MXFP4 de la tabla anterior muestra el rendimiento de un formato de coma flotante de 4 bits en esta tarjeta: 165 tokens por segundo a 4k con pesos que ocupan 24 GB. La compatibilidad con NVFP4 en las herramientas (llama.cpp, Ollama, vLLM) evoluciona rápidamente: comprueba la versión instalada y la ficha del modelo antes de elegir un archivo, y conserva Q4_K_M como una opción fiable.

#Instalar Ollama en una RTX 5090

1. 01
   Verificar el controlador

   Ejecuta nvidia-smi en un terminal: el controlador debe estar en versión 550 o superior (551.61 en Windows) y la memoria total debe mostrar aproximadamente 32 GB.
2. 02
   Instalar Ollama

   Instala Ollama desde su sitio oficial. La API local escucha en http://localhost:11434.
3. 03
   Ejecutar un modelo

   Ejecuta ollama run qwen3.5:27b: la descarga de 17 GB se realiza una sola vez. Para un modelo de expertos más grande, prueba ollama run qwen3.5:35b (24 GB).
4. 04
   Controlar la distribución

   En un segundo terminal, ejecuta ollama ps: la columna Processeur debe mostrar 100 % GPU.
5. 05
   Ajustar el contexto

   Establece el contexto con OLLAMA_CONTEXT_LENGTH y vuelve a ejecutar ollama ps. Si no hay suficiente margen, configura OLLAMA_FLASH_ATTENTION en 1 y OLLAMA_KV_CACHE_TYPE en q8_0 al iniciar.

ollama run qwen3.5:27b
ollama run qwen3.5:35b
ollama ps

# Exemple de la documentation Ollama : contexte de 64 000 tokens
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

• Instalar Ollama en Windows 11: guía completa

#Alimentación, calor y fine-tuning

NVIDIA anuncia 575 W de potencia gráfica, una fuente de alimentación del sistema de 1.000 W, una temperatura máxima de la GPU de 90 °C y un cable PCIe Gen 5 de 600 W: la 5090 es la tarjeta más exigente de la comparativa. Revisa el cable y su conector antes de instalar la tarjeta, y prevé una caja ventilada. Un límite de potencia reduce el consumo a cambio de una pequeña pérdida de velocidad, ya que el LLM utiliza principalmente la memoria (ver la medición de la 3090 limitada a 250 W en su guía).

Para el fine-tuning, Unsloth indica mínimos de VRAM en QLoRA de 4 bits: 22 GB para un modelo de 27 mil millones, 26 GB para 32 mil millones, 30 GB para 40 mil millones y 41 GB para 70 mil millones. La 5090 permite fine-tuning hasta 40B en QLoRA con un lote de 1 y un contexto corto, no un 70B.

• Fine-tuning de LLM en local: ejemplo paso a paso con LoRA y QLoRA

#Veredicto: 5090, 4090 o 3090 según el uso

La 5090 sustituye a una 4090 sobre todo cuando falta capacidad: la mejora de velocidad es de alrededor del 30 % según Hardware Corner, mientras que los 32 GB permiten cargar modelos y contextos que no caben en 24 GB. Para conocer los precios del día, consulta nuestro seguimiento, que registra el precio más bajo de cada tarjeta dos veces por semana.

• Precios de las tarjetas gráficas para IA local (actualizados dos veces por semana)

• Fuente: NVIDIA, especificaciones de la RTX 5090
• Fuente: Hardware Corner, benchmarks LLM en RTX 5090
• Fuente: NVIDIA, presentación del formato NVFP4
• Fuente: documentación de Ollama, longitud de contexto
• Fuente: Unsloth, VRAM requerida para el fine-tuning

#Preguntas frecuentes