01Lo que sabe hacer
- Omnimodal nativo texto+imagen+audio+video
- 256k de contexto
- 9× el rendimiento de procesamiento frente a otros modelos omni abiertos
- Cabe en una sola GPU gracias a su arquitectura MoE con 3B de parámetros activos
- Pipeline NVIDIA NIM disponible
- —Solo en inglés
- —La funcionalidad multimodal completa requiere llama.cpp/vLLM (Ollama solo admite texto)
- —Licencia NVIDIA Open Model (no Apache)
04Instalar
Instala Ollama para tu SO. Verifica el modelo y su cuantización antes de la descarga. Comienza con 4096 tokens de contexto y luego controla la asignación con ollama ps. Un comando a continuación no es prueba de que se haya ejecutado una prueba en tu máquina.
02Memoria requerida
VRAM de GPU aproximada para ejecutar este modelo, incluido el sobrecoste de contexto de 4k tokens. Para un contexto más largo, añade ~1 GB por cada tramo de 8k tokens.
¿Qué hardware necesitas para Nemotron 3 Nano Omni 30B-A3B?
Para ejecutar Nemotron 3 Nano Omni 30B-A3B en local con cuantización Q4, necesitas aproximadamente 21 GB de VRAM. Una opción para comparar: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — deja un margen para el sistema y el contexto; verifica la compatibilidad del motor con la GPU.
Enlaces de afiliación — posible comisión sin coste adicional para ti, recomendación independiente. Como socio de Amazon, QuéLLM obtiene beneficios de las compras que cumplen las condiciones requeridas.
Cuando te desplazas: Nemotron 3 Nano Omni 30B-A3B también funciona en un Portátil RTX (24 GB de VRAM) →
Tu ChatGPT privado y gratuito en tu máquina en 1 hora — LM Studio, Ollama, Open WebUI, tus documentos, sin nube.
- Espacio en línea de por vida
- PDF + archivos
- Actualizaciones de por vida
03Velocidad estimada
Tokens generados por segundo en Q4_K_M, contexto 4k. Por encima de 20 t/s, la lectura es cómoda. Por debajo de 10 t/s, es solo para probar.