Familia Hunyuan · 406B de parámetros

Hunyuan Large 2.0

Modelo principal 406B/32B activos. 256k contexto. ⚠ Licencia personalizada de Tencent.

🇨🇳 Tencent·Licencia Tencent Hunyuan License·Contexto 256k tokens·Fecha de lanzamiento noviembre de 2024← Catálogo

01Lo que sabe hacer

Puntos fuertes
  • Contexto de 262k
  • Fuerte en chino
  • 52B activos eficientes de un total de 406B
Limitaciones que debes conocer
  • —245 GB de VRAM en Q4 — requiere una infraestructura de gran envergadura
  • —Licencia de Tencent por verificar
Arquitectura
MoE · 406B totales / 52B activos · Tencent HunyuanLLM · 262k ctx
Entrenamiento
Tencent — fuerte en chino y inglés, RAG y documentos largos.
Ideal para
Frontera con ChinaContexto largo

04Instalar

Instala Ollama para tu SO. Verifica el modelo y su cuantización antes de la descarga. Comienza con 4096 tokens de contexto y luego controla la asignación con ollama ps. Un comando a continuación no es prueba de que se haya ejecutado una prueba en tu máquina.

$# Infrastructure Tencent — non disponible en local standard
⚠
Primera descarga: entre 2 y 40 GB según la cuantización elegida. Reserva espacio en disco y se recomienda una conexión estable. Las siguientes ejecuciones son instantáneas.

02Memoria requerida

VRAM de GPU aproximada para ejecutar este modelo, incluido el sobrecoste de contexto de 4k tokens. Para un contexto más largo, añade ~1 GB por cada tramo de 8k tokens.

Q4_K_M
El más ligero, ~5% de pérdida
245 GB
Q5_K_M
Buen equilibrio calidad/tamaño
290 GB
Q8_0
Casi indistinguible de FP16
435 GB
FP16
Precisión completa — uso en servidor
810 GB
Alternativa con CPU · Si no tienes GPU, calcula 300 GB de RAM mínimo para ejecutar este modelo a velocidad reducida.

¿Qué hardware necesitas para Hunyuan Large 2.0?

Para ejecutar Hunyuan Large 2.0 en local con cuantización Q4, necesitas aproximadamente 245 GB de VRAM. Una opción para comparar: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — este modelo supera la capacidad de la GPU de este mini-PC: elige un modelo más pequeño o una infraestructura adecuada.

Oferta actual: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395)
AmazonVer el precio →

¿Por qué esta elección? Nuestra ficha completa sobre GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) →

Enlaces de afiliados — posible comisión sin coste adicional para ti, recomendación independiente. Como socio de Amazon, QuelLLM obtiene un beneficio de las compras que cumplen las condiciones requeridas.

Este modelo en tu ChatGPT privado, sin nube

¿Demasiado grande para tu máquina? El kit te da el modelo que cabe en tu VRAM

  • Espacio en línea de por vida
  • PDF + archivos
  • Reembolsado 30 j

03Velocidad estimada

Tokens generados por segundo en Q4_K_M, contexto 4k. Por encima de 20 t/s, la lectura es cómoda. Por debajo de 10 t/s, es solo para probar.

Gama de entrada
~1t/s
GTX 1650, RX 6600, MBA M2 8GB
Gama media
~4t/s
RTX 4060, 4070, MBP M3 Pro
Gama alta
~12t/s
RTX 4090, M4 Max, Radeon 7900