01Lo que sabe hacer
- Denso de 8B: cabe en una GPU de 8 GB en Q4 (~4,6 GB)
- Especializado en código
- Licencia Apache 2.0 permisiva
- Contexto nativo de 128k
- —Por detrás de los modelos de programación recientes de 2025-2026
- —Pesos con acceso restringido en Hugging Face (se requiere aceptación)
04Instalar
Instala Ollama para tu SO. Verifica el modelo y su cuantización antes de la descarga. Comienza con 4096 tokens de contexto y luego controla la asignación con ollama ps. Un comando a continuación no es prueba de que se haya ejecutado una prueba en tu máquina.
02Memoria requerida
VRAM de GPU aproximada para ejecutar este modelo, incluido el sobrecoste de contexto de 4k tokens. Para un contexto más largo, añade ~1 GB por cada tramo de 8k tokens.
¿Qué hardware necesitas para IBM Granite Code 8B?
Para ejecutar IBM Granite Code 8B en local con cuantización Q4, necesitas aproximadamente 4.6 GB de VRAM. Una opción para comparar: RTX 5060 Ti 16 GB — deja un margen para el sistema y el contexto; verifica la compatibilidad del motor con la GPU.
Enlaces de afiliación — posible comisión sin coste adicional para ti, recomendaciones independientes. Como socio de Amazon, QuéLLM obtiene un beneficio de las compras que cumplen los requisitos.
Cuando te desplazas: IBM Granite Code 8B también funciona en un Portátil RTX (16 GB de VRAM) →
03Velocidad estimada
Tokens generados por segundo en Q4_K_M, contexto 4k. Por encima de 20 t/s, la lectura es cómoda. Por debajo de 10 t/s, es solo para probar.