Familia DeepSeek · 16B de parámetros

DeepSeek Coder V2 Lite 16B

MoE especializado en código. Rápido a pesar del tamaño.

🇨🇳 DeepSeek·Licencia MIT·Contexto 128k tokens·Fecha de lanzamiento junio de 2024← Catálogo

01Lo que sabe hacer

Puntos fuertes
  • Contexto de 128k para código
  • MoE eficiente
  • Muy bueno en generación y corrección de código
  • Licencia DeepSeek
Limitaciones que debes conocer
  • —Versión Lite menos potente que la de 236B
  • —Peor que Qwen 2.5 Coder 32B
Arquitectura
MoE ligero · DeepSeek Coder V2 Lite · 16B · contexto de 128k
Entrenamiento
Preentrenamiento con código de DeepSeek V2 Lite + fine-tuning en 338 lenguajes de programación.
Ideal para
CódigoRefactorización

05Instalar

Instala Ollama para tu SO. Verifica el modelo y su cuantización antes de la descarga. Comienza con 4096 tokens de contexto y luego controla la asignación con ollama ps. Un comando a continuación no es prueba de que se haya ejecutado una prueba en tu máquina.

$ollama run deepseek-coder-v2:16b-lite-instruct
⚠
Primera descarga: entre 2 y 40 GB según la cuantización elegida. Reserva espacio en disco y se recomienda una conexión estable. Las siguientes ejecuciones son instantáneas.

02Memoria requerida

VRAM de GPU aproximada para ejecutar este modelo, incluido el sobrecoste de contexto de 4k tokens. Para un contexto más largo, añade ~1 GB por cada tramo de 8k tokens.

Q4_K_M
El más ligero, ~5% de pérdida
10 GB
Q5_K_M
Buen equilibrio calidad/tamaño
12 GB
Q8_0
Casi indistinguible de FP16
18 GB
FP16
Precisión completa — uso en servidor
32 GB
Alternativa con CPU · Si no tienes GPU, calcula 18 GB de RAM mínimo para ejecutar este modelo a velocidad reducida.

¿Qué hardware necesitas para DeepSeek Coder V2 Lite 16B?

Para ejecutar DeepSeek Coder V2 Lite 16B en local con cuantización Q4, necesitas aproximadamente 10 GB de VRAM. Una opción para comparar: RTX 5070 12 GB — deja un margen para el sistema y el contexto; verifica la compatibilidad del motor con la GPU.

Oferta actual: RTX 5070 12 GB
AmazonVer el precio →Materiel.netVer el precio →DartyVer el precio →

Enlaces de afiliados — posible comisión sin coste adicional para ti, recomendación independiente. Como socio de Amazon, QuelLLM obtiene un beneficio de las compras que cumplen las condiciones requeridas.

Cuando te desplazas: DeepSeek Coder V2 Lite 16B también funciona en un Portátil RTX (16 GB de VRAM) →

03Velocidad estimada

Tokens generados por segundo en Q4_K_M, contexto 4k. Por encima de 20 t/s, la lectura es cómoda. Por debajo de 10 t/s, es solo para probar.

Gama de entrada
~5t/s
GTX 1650, RX 6600, MBA M2 8GB
Gama media
~18t/s
RTX 4060, 4070, MBP M3 Pro
Gama alta
~45t/s
RTX 4090, M4 Max, Radeon 7900

04Benchmarks públicos

Puntuaciones reproducidas desde las model cards o MMLU-Pro / comunitarias. Unidad: % de respuestas correctas.

HumanEval
81.1
LiveCodeBench
28.8