¿Qué LLM en RTX 5070 (12 GB)? ?

#RTX 5070 para un LLM local: lo que permiten 12 GB de GDDR7

Una RTX 5070 carga sin problemas modelos de 4B a 12B en Q4. Qwen 3.5 9B pesa 6,6 GB y Gemma 4 12B entre 7,7 y 8 GB según la biblioteca Ollama: ambos caben en los 12 GB con un margen de 4 a 5 GB para el contexto, lo que permite 16.000 tokens o más con la caché K/V cuantizada. En cambio, la tarjeta no carga ningún modelo de 14 GB: Mistral Small 24B y gpt-oss 20B superan los 12 GB. Su velocidad es excelente para un uso interactivo: 672 GB/s en un bus de 192 bits. La 5070 es adecuada para los usos habituales y alcanza un límite claro en cuanto se buscan modelos de mayor calidad.

Arquitectura

Blackwell, 6 144 núcleos CUDA y Tensor Cores de 5.ª generación según NVIDIA.

Memoria

12 GB de GDDR7 en un bus de 192 bits, 672 GB/s de ancho de banda según Wikipedia.

Potencia

250 W de potencia gráfica total; NVIDIA indica 650 W de alimentación mínima para el ordenador completo.

Precio de lanzamiento

549 dólares, lanzado el 5 de marzo de 2025 según Wikipedia.

#¿Qué modelos caben en 12 GB?

La referencia del sitio es de aproximadamente 0,6 GB por cada mil millones de parámetros en Q4, contando solo los pesos. Con 12 GB, esto sitúa el límite práctico en torno a los 14 a 16 mil millones de parámetros si el contexto sigue siendo corto, y en torno a los 12 mil millones si quieres trabajar con documentos largos. Para un modelo de 8B a 9B, el margen es muy superior al necesario para un contexto habitual.

#Instalar Ollama y verificar la tarjeta

1. 01
   Controlador NVIDIA

   Ollama requiere un controlador NVIDIA de la versión 550 o posterior. Para una RTX 50, instala el controlador más reciente que ofrezca NVIDIA y compruébalo con nvidia-smi.
2. 02
   Instalar Ollama

   Descarga el instalador para tu sistema: CUDA está incluido.
3. 03
   Ejecutar un modelo

   Prueba ollama run gemma4:12b para probar el límite de la tarjeta, u ollama run qwen3.5:9b para un modelo más ligero.
4. 04
   Verificar

   Ejecuta ollama ps: la columna PROCESSOR debe mostrar 100 % GPU.

#Qué velocidad esperar: un límite superior, no una medición

Aquí no se presenta ninguna velocidad de generación como una medición propia. El límite máximo de generación es el ancho de banda dividido por el tamaño de los pesos. Una medición pública de terceros (LLaMA 3 8B en Q4_K_M con llama.cpp, mayo de 2024) registra 106 tokens/s en una RTX 4080 cuyo límite máximo es de 156 tokens/s, es decir, aproximadamente un 68 %. Tomando el 70 % como orden de magnitud, se obtienen las siguientes estimaciones para un contexto corto.

Estos límites son muy superiores a la velocidad de lectura humana: la 5070 nunca será lenta con estos modelos. Está limitada por la capacidad, no por la velocidad. Las estimaciones disminuyen con el contexto, y la lectura del prompt exige más capacidad de cálculo que de memoria.

#Gestionar el contexto en 12 GB

El margen de 4 GB de Gemma 4 12B desaparece rápidamente con un contexto largo. Ollama cuantiza la caché K/V en q8_0 para usar aproximadamente la mitad de la memoria que con f16, el valor predeterminado, con una pérdida de precisión muy baja según su documentación; esto requiere Flash Attention. Es el ajuste que permite usar un modelo de 12B con documentos largos.

export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0
export OLLAMA_CONTEXT_LENGTH=16384
ollama serve

Un detalle que puede causar problemas si das servicio a varias personas: las solicitudes en paralelo multiplican el contexto reservado según su número, de acuerdo con las preguntas frecuentes de Ollama. Un modelo que cabe en la memoria para un usuario puede exceder la memoria disponible para tres.

• Cuantizar la caché KV para ahorrar VRAM
• Comprender la ventana de contexto

#Lo que se hace concretamente con 12 GB

Doce gigabytes cambian la naturaleza de los usos en comparación con 8 GB. Un modelo de 9B deja suficiente espacio para un contexto de 16 000 tokens y un pequeño modelo de embeddings: es una configuración cómoda para un RAG personal. Un modelo de 12B ofrece respuestas de mayor calidad en redacción y síntesis, a costa de un contexto más limitado. A un asistente de código le basta con un modelo de 8B a 12B y fragmentos específicos, pero no con un repositorio entero cargado de una sola vez.

La elección entre 9B y 12B depende de la tarea. El 9B deja más margen y se adapta a contextos largos; el 12B es más capaz, pero cada gigabyte de contexto cuenta. Comienza con el más pequeño que cumpla con tus necesidades y solo pasa al 12B si la calidad lo exige.

#Cuando la 5070 ya no es suficiente

Tres señales indican que se necesita más memoria. Quieres un modelo de 14 a 24B, como Mistral Small 24B o gpt-oss 20B. Necesitas un contexto superior a 16 000 tokens en un 12B. Cargas varios modelos juntos: generación, embeddings, reranker. En estos casos, la velocidad de la 5070 no es el problema, y las siguientes opciones son la 5070 Ti, la 5080 o una tarjeta de 24 GB.

#Lo que no se puede cargar con 12 GB

Un modelo que no cabe en la VRAM no se bloquea: parte de los pesos se lee desde la RAM del sistema y la velocidad de generación cae considerablemente, ya que el enlace PCIe es mucho más lento que la GDDR7. Por tanto, un modelo de 14 GB en una tarjeta con 12 GB es utilizable para una prueba, pero no para el uso diario. Para estos modelos, busca 16 GB o más.

#Jugar y ejecutar un LLM en la misma tarjeta

La RTX 5070 se utiliza a menudo para ambos usos. El modelo cargado ocupa VRAM mientras permanece en memoria, y un juego reciente también necesita varios gigabytes: con 12 GB, los dos juntos superan rápidamente la capacidad disponible. La regla es sencilla: libera el modelo de la memoria antes de iniciar un juego y vuelve a cargarlo después. Ollama libera la memoria tras un periodo de inactividad, y ollama ps indica qué sigue cargado. Si quieres un asistente disponible durante tus partidas, opta por un modelo pequeño de 4B.

#¿Una 4070 Ti Super de segunda mano en su lugar?

La pregunta se plantea frecuentemente: una RTX 4070 Ti Super de segunda mano, con 16 GB, frente a una RTX 5070 nueva, con 12 GB. Para los LLM, la capacidad gana: con 16 GB se pueden cargar modelos de 14 GB que la 5070 no puede alojar. La 5070 mantiene la ventaja de la garantía, un consumo más bajo (250 W) y memoria GDDR7. Si tus modelos caben en 12 GB, la 5070 nueva es una opción razonable; de lo contrario, la capacidad es lo más importante. La guía específica explica en detalle la 4070 Ti Super.

• ¿Qué LLM usar en una RTX 4070 Ti Super?

#5070 o 5070 Ti: 12 GB o 16 GB

La 5070 Ti aporta dos cosas: 4 GB más de memoria, que permiten Mistral Small 24B y gpt-oss 20B, y un 33 % más de ancho de banda. Los precios recomendados al lanzamiento eran de 549 dólares para la 5070 y de 749 dólares para la 5070 Ti, es decir, una diferencia de 200 dólares. Si tus modelos caben en 12 GB, la 5070 es suficiente; si buscas modelos de 14 GB, la diferencia es una buena inversión. Consulta el seguimiento de precios para comparar al momento de la compra.

• ¿Qué LLM en RTX 5070 Ti?
• ¿Qué LLM para 12 GB de VRAM?
• Precios de las tarjetas gráficas para IA local

#Veredicto 2026

Compra una 5070 si

Tus modelos tienen entre 4B y 12B y quieres la velocidad de la generación Blackwell. Es muy capaz para este uso.

Prefiere la 5070 Ti si

Quieres explorar modelos de 14 a 24B: los 16 GB hacen la diferencia.

Cuidado con el juego y el LLM juntos

Un juego reciente y un modelo cargado comparten los 12 GB: cierra uno antes de lanzar el otro.

En resumen, la 5070 es una tarjeta rápida cuyo único defecto es estar limitada a 12 GB. Si este límite no te molesta hoy, tampoco te molestará en los próximos meses, siempre que sigas usando modelos de 4B a 12B; si te molesta, es mejor pagar por esa capacidad desde ahora.

• Fuente: especificaciones oficiales de NVIDIA (RTX 5070 y 5070 Ti)
• Fuente: preguntas frecuentes oficiales de Ollama (Flash Attention, caché K/V, paralelismo)
• Fuente: tamaños de Gemma 4 en la biblioteca Ollama

#Preguntas frecuentes