01Lo que sabe hacer
- Calidad de un modelo de 405B con 1/6 del tamaño
- 128k ctx
- Muy fuerte en razonamiento y código
- —HF con acceso restringido (aceptar los términos de Meta)
- —Licencia comunitaria con cláusula >700M MAU
- —Sin visión
05Instalar
Instala Ollama para tu SO. Verifica el modelo y su cuantización antes de la descarga. Comienza con 4096 tokens de contexto y luego controla la asignación con ollama ps. Un comando a continuación no es prueba de que se haya ejecutado una prueba en tu máquina.
02Memoria requerida
VRAM de GPU aproximada para ejecutar este modelo, incluido el sobrecoste de contexto de 4k tokens. Para un contexto más largo, añade ~1 GB por cada tramo de 8k tokens.
¿Qué hardware necesitas para Llama 3.3 70B Instruct?
Para ejecutar Llama 3.3 70B Instruct en local con cuantización Q4, necesitas aproximadamente 40 GB de VRAM. Una opción para comparar: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — deja un margen para el sistema y el contexto; verifica la compatibilidad del motor con la GPU.
Enlaces de afiliados — posible comisión sin coste adicional para ti, recomendación independiente. Como socio de Amazon, QuelLLM obtiene un beneficio de las compras que cumplen las condiciones requeridas.
¿Demasiado grande para tu máquina? El kit te da el modelo que cabe en tu VRAM
- Espacio en línea de por vida
- PDF + archivos
- Reembolsado 30 j
03Velocidad estimada
Tokens generados por segundo en Q4_K_M, contexto 4k. Por encima de 20 t/s, la lectura es cómoda. Por debajo de 10 t/s, es solo para probar.
04Benchmarks públicos
Puntuaciones reproducidas desde las model cards o MMLU-Pro / comunitarias. Unidad: % de respuestas correctas.