01Lo que sabe hacer
- MoE de frontera de 561B / 55B activos en BF16
- Preentrenamiento multilingüe en 11 idiomas (incluyendo francés)
- Contexto nativo de 128k
- Base abierta para fine-tuning e investigación
- —Variante Base: modelo no alineado para chat/instruct, requiere ajuste fino antes de usarlo en aplicaciones
- —~325 GB VRAM en Q4, ~1.1 TB en BF16 — multi-GPU H100/MI300 obligatorio
- —Sin tag de Ollama: solo instalación vía Hugging Face
- —Licencia NVIDIA Open Model (revisar según el uso comercial)
04Instalar
Instala Ollama para tu SO. Verifica el modelo y su cuantización antes de la descarga. Comienza con 4096 tokens de contexto y luego controla la asignación con ollama ps. Un comando a continuación no es prueba de que se haya ejecutado una prueba en tu máquina.
02Memoria requerida
VRAM de GPU aproximada para ejecutar este modelo, incluido el sobrecoste de contexto de 4k tokens. Para un contexto más largo, añade ~1 GB por cada tramo de 8k tokens.
¿Qué hardware necesitas para Nemotron 3 Ultra Base (BF16)?
Para ejecutar Nemotron 3 Ultra Base (BF16) en local con cuantización Q4, necesitas aproximadamente 325 GB de VRAM. Una opción para comparar: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — este modelo supera la capacidad de la GPU de este mini-PC: elige un modelo más pequeño o una infraestructura adecuada.
Enlaces de afiliación — posible comisión sin coste adicional para ti, recomendación independiente. Como socio de Amazon, QuéLLM obtiene beneficios de las compras que cumplen las condiciones requeridas.
¿Demasiado grande para tu máquina? El kit te da el modelo que cabe en tu VRAM
- Espacio en línea de por vida
- PDF + archivos
- Actualizaciones de por vida
03Velocidad estimada
Tokens generados por segundo en Q4_K_M, contexto 4k. Por encima de 20 t/s, la lectura es cómoda. Por debajo de 10 t/s, es solo para probar.