Qwen3 32B en Mac M1/M2: memoria y ajustes MLX

#Memoria unificada realmente necesaria

El punto de partida es el peso del modelo cuantizado, no el número de parámetros. La versión MLX 4-bit publicada por la comunidad mlx-community pesa 18,4 GB en disco y en memoria al cargar. En un Mac, la memoria unificada se comparte entre el sistema, las aplicaciones abiertas y el modelo: reservar únicamente 18,4 GB de RAM total no deja margen para el sistema ni para el contexto de conversación.

La ficha oficial de Qwen detalla la arquitectura que hay detrás de estos pesos: 64 capas y atención por grupos (GQA) con 64 cabezas para las consultas, pero solo 8 para las claves y los valores. En concreto, menos cabezas KV significa una caché KV más compacta por token de contexto que con una atención multicabeza clásica con igual número de cabezas para consultas, claves y valores. Esta es una de las razones por las que un modelo denso de 32,8 mil millones de parámetros sigue siendo viable con la memoria unificada de un Mac, siempre que los pesos del propio modelo ya quepan en la RAM disponible.

#¿Qué chip M1/M2 para 32B?

Un MacBook Air o Pro con un M1 o M2 «básico» se vende con 8 o 16 GB de memoria unificada: insuficientes para Qwen3 32B, incluso en 4 bits. Hay que optar por un chip M1 Pro/Max/Ultra o M2 Pro/Max/Ultra, configurado con al menos 32 GB de memoria unificada, para disponer de un margen razonable una vez que se tienen en cuenta el sistema y el contexto. No es una cuestión de potencia de cálculo de la GPU: es una cuestión de la cantidad de memoria físicamente presente en la máquina, que no se puede ampliar después de la compra.

#¿MLX o llama.cpp/Ollama?

MLX es el framework desarrollado para aprovechar la arquitectura de memoria unificada de Apple Silicon; llama.cpp (y Ollama, que se basa en él) sigue siendo una alternativa sólida, con un ecosistema de cuantizaciones GGUF más amplio y un manejo inicial más sencillo para quienes ya conocen Ollama en otras máquinas. Para Qwen3 32B en particular, la versión oficial MLX de 4 bits de la comunidad mlx-community es directamente comparable en tamaño (18,4 GB) a las cuantizaciones GGUF equivalentes: la elección depende principalmente de la herramienta que ya domines, no de una diferencia de viabilidad.

Elegir MLX

Si ya estás en el ecosistema Python/Hugging Face y quieres la conversión más cercana a la arquitectura Apple Silicon.

Elegir Ollama/llama.cpp

Si quieres un único comando, un servidor local estándar y compatibilidad con las mismas herramientas que en PC/Linux.

#Instalar con MLX, paso a paso

1. 01
   Verificar la memoria disponible

   En el Monitor de Actividad (pestaña Memoria), anotar la memoria realmente libre antes de iniciar cualquier cosa, no solo la RAM total anunciada por la máquina.
2. 02
   Instalar mlx-lm

   Instalar el paquete Python mlx-lm en un entorno dedicado, en lugar de globalmente, para evitar conflictos de versiones.
3. 03
   Descargar la versión de 4 bits

   Descargar mlx-community/Qwen3-32B-4bit en lugar de una versión no cuantizada, para limitar el uso de memoria al cargar el modelo.
4. 04
   Iniciar primero con un contexto reducido

   Empezar con un contexto corto (4 000 a 8 000 tokens) para verificar que el modelo se cargue y responda, antes de aumentarlo progresivamente según la memoria restante observada.

#Configuración de memoria GPU para macOS (no oficial)

En Apple Silicon, macOS reserva por defecto una parte de la memoria unificada fuera del alcance de la GPU: Metal expone un tamaño de trabajo recomendado de aproximadamente el 75 % de la RAM total. Un ajuste del sistema, iogpu.wired_limit_mb, permite técnicamente elevar ese límite. Sin embargo, no es un ajuste documentado oficialmente por Apple: es una práctica conocida en la comunidad técnica, sin soporte oficial, que podría cambiar o dejar de funcionar con una próxima actualización de macOS.

sudo sysctl iogpu.wired_limit_mb=26624

El valor está en megabytes y debe ser inferior a la memoria física: calcula la RAM total menos entre 6 y 8 GB para macOS. El ejemplo anterior está pensado para un Mac de 32 GB (26 624 MB, es decir, 26 GB para la GPU); en un Mac de 64 GB, un valor de 57 344 MB deja el mismo margen. Las notas que circulan con 122 880 MB están pensadas para una máquina de 128 GB: si se copiara ese valor tal cual en un M1 o un M2 de 32 GB, superaría la memoria instalada.

#Modo reflexión: un costo de memoria indirecto

Qwen3-32B ofrece un mecanismo para alternar entre un modo de reflexión, que genera un razonamiento interno antes de la respuesta final, y un modo directo. La elección se hace mediante el parámetro enable_thinking o las etiquetas /think y /no_think, según la herramienta utilizada. En una máquina al límite de su memoria, el modo de reflexión tiene un efecto indirecto pero real: cada token de razonamiento generado antes de la respuesta final se añade al contexto de la conversación en curso y, por tanto, a la caché KV, que crece con ella. En un Mac con 24-32 GB, desactivar el modo de reflexión para las preguntas sencillas limita el crecimiento del contexto y reduce el riesgo de saturación de memoria en sesiones largas.

#Errores de swap y signos de saturación

El síntoma más claro de una memoria insuficiente no es un mensaje de error explícito, sino una ralentización brusca: todo el sistema se vuelve lento, no solo el modelo, porque macOS empieza a escribir en el espacio de intercambio del SSD. En el Monitor de Actividad, el indicador de presión de memoria que cambia a naranja o rojo durante la carga del modelo es la señal que debes vigilar incluso antes de esperar la primera respuesta.

Presión de memoria naranja/roja al cargar

Reducir el tamaño del contexto solicitado, o pasar a una cuantización más ligera si está disponible.

El modelo se carga pero la primera respuesta tarda varios minutos

Señal de swap activo: cerrar las aplicaciones que consumen mucha memoria antes de volver a ejecutar el modelo.

Fallo inmediato de carga

La memoria unificada total de la máquina probablemente sea insuficiente para un modelo de este tamaño, incluso teniendo en cuenta la cuantización.

En la línea de comandos, vm_stat (número de páginas enviadas al espacio de intercambio, « Pageouts ») o memory_pressure -Q ofrecen un diagnóstico más preciso que el indicador visual del Monitor de Actividad por sí solo, útil para confirmar que una ralentización se debe realmente a una saturación de memoria y no a otro cuello de botella (disco lleno, reducción de la velocidad por temperatura durante un uso prolongado). Un número de pageouts que aumenta mientras el modelo genera es la señal más fiable de que la memoria unificada es insuficiente para la configuración actual, incluido el contexto.

#Contexto largo: el verdadero costo de memoria

El contexto nativo de 32.768 tokens de Qwen3-32B, ampliable a 131.072 mediante YaRN, tiene un costo en memoria: cada token de contexto realmente utilizado alimenta una caché (caché KV) que crece con la conversación. En una máquina al límite (24 a 32 GB), priorizar un contexto moderado (8.000 a 16.000 tokens) deja un margen de seguridad; reservar la ampliación a 131.072 tokens para las máquinas con 64 GB o más de memoria unificada, donde el margen tras cargar el modelo sigue siendo holgado.

#Ajustes recomendados según el modo

La elección de los parámetros de muestreo tiene consecuencias en una máquina con memoria limitada: un ajuste inadecuado puede alargar innecesariamente las respuestas y, por tanto, el contexto y la caché KV. Qwen publica ajustes distintos según el modo activo, que debes especificar explícitamente en tu cliente MLX o en los parámetros de generación de Ollama en lugar de mantener los valores predeterminados genéricos de otro modelo.

Qwen también recomienda prever una longitud de salida de hasta 32 768 tokens para la mayoría de las consultas complejas y ajustar presence_penalty entre 0 y 2 para limitar las repeticiones si aparecen, teniendo en cuenta que un valor demasiado alto puede provocar una mezcla de idiomas en la respuesta. En un Mac con poca memoria disponible, una longitud de salida máxima tan alta debe quedar en el plano teórico: en la práctica, detener la generación en cuanto la respuesta resuelva la pregunta evita que la caché KV crezca innecesariamente.

• MLX frente a llama.cpp en Mac: comparativo numérico
• Elegir un modelo según la RAM disponible
• Instalar un LLM local paso a paso
• Cuantizar la caché KV para ahorrar memoria con contextos largos
• Fuente: ficha oficial Qwen3-32B (Hugging Face)
• Fuente: versión oficial de MLX de 4 bits de mlx-community
• Fuente: ajuste iogpu.wired_limit_mb (no oficial de Apple)