ControlNet: dominar la composición de tus images

#El problema que resuelve

El texto es un lenguaje poco adecuado para la geometría. Se describe un tema, un estilo y una atmósfera en un prompt, pero la posición de una mano, el ángulo de un edificio o la silueta exacta de un producto no se pueden fijar con palabras. Se vuelve a ejecutar con otra semilla y la composición cambia completamente. ControlNet modifica la entrada, no el prompt: proporcionas una imagen que codifica la estructura deseada, el modelo se condiciona a partir de ella en cada paso de eliminación de ruido, y el prompt gobierna todo lo demás.

El método proviene de un artículo de investigación: «Adding Conditional Control to Text-to-Image Diffusion Models», de Lvmin Zhang, Anyi Rao y Maneesh Agrawala, publicado en las actas de ICCV 2023 y ganador del premio al mejor artículo de la conferencia, el premio Marr. Su resumen describe el principio: ControlNet bloquea el modelo de difusión, reutiliza sus capas de codificación preentrenadas como base y conecta la copia entrenable mediante «zero convolutions», capas de convolución inicializadas a cero que hacen crecer gradualmente los parámetros y evitan que un ruido perjudicial perturbe el entrenamiento. Los autores también muestran que el entrenamiento sigue siendo robusto tanto con conjuntos de datos pequeños, de menos de 50 000 imágenes, como con conjuntos grandes, de más de un millón.

Lo que cambia para ti: se añade un control a un modelo existente sin reentrenarlo, y cada tipo de control es un archivo separado. Es por eso que se necesita el archivo adecuado para la familia de modelos correcta.

#Elegir el tipo de control

El repositorio oficial de ControlNet 1.1 anuncia 14 modelos, de los cuales 11 están listos para producción y 3 son experimentales, todos nombrados según una misma regla. Para la profundidad, enumera tres preprocesadores admitidos: Depth_Midas, Depth_Leres y Depth_Zoe. Un preprocesador es la herramienta que transforma tu imagen de referencia en un mapa de control, por ejemplo, una foto en un mapa de profundidad.

La regla práctica: elige el control menos restrictivo que siga captando lo que te importa. El condicionamiento por contornos de una fotografía reproduce esa fotografía: si ese es el resultado deseado, la generación era innecesaria. La profundidad o la pose suelen ofrecer un mejor equilibrio entre obediencia y creatividad.

#Los ajustes que cuentan

Los nombres varían según la herramienta, pero hay tres ajustes que aparecen en todas ellas. La tabla muestra cómo se llaman en los tres entornos más comunes, según la documentación de cada uno.

La intensidad es la palanca más eficaz: cerca del máximo, el resultado es rígido, y reducir la intensidad corrige la mayoría de las imágenes estáticas. Detener el control antes de que termine la eliminación de ruido fija la composición y deja al modelo libertad para representar los materiales y la luz. La extensión de AUTOMATIC1111 añade un Control Mode con tres posiciones: Balanced, My prompt is more important y ControlNet is more important, para ajustar el equilibrio entre el prompt y el control.

#Valores iniciales publicados por los autores de los modelos

En lugar de inventar cifras, parte de las que indican los desarrolladores. Varían notablemente de una familia a otra, lo que recuerda que un ajuste válido para SD 1.5 no se puede trasladar tal cual.

#¿Qué ControlNet para qué familia?

La oferta ha cambiado mucho desde SD 1.5 y muchas guías están desactualizadas. La tabla distingue lo que publica el laboratorio del modelo de lo que publica la comunidad, ya que esto condiciona el mantenimiento y la licencia.

Hay dos puntos que merecen mencionarse. Primero, Black Forest Labs ha marcado FLUX.1 Depth y FLUX.1 Canny como obsoletos para su API, incluidas las versiones LoRA: los pesos abiertos siguen disponibles en Hugging Face, pero el proveedor ya no los mantiene. Segundo, los modelos «Union» agrupan varios modos en un solo archivo, lo que ahorra espacio en disco, a costa de una madurez variable: la ficha del ControlNet Union de InstantX para Flux lo presenta como una primera versión beta que posiblemente no esté completamente entrenada.

La licencia no coincide automáticamente con la del modelo base: cada archivo de control tiene la suya propia y varía de un archivo a otro.

#Lo que cuesta en archivos y memoria

Un ControlNet es una red adicional que se ejecuta junto al modelo base: aumenta el consumo de VRAM y el tiempo por imagen. Los tamaños de los archivos, publicados en Hugging Face, dan una primera estimación: se suman a los pesos del modelo base y de su codificador de texto.

Dos lecciones. En primer lugar, un control en forma de LoRA pesa una fracción de un modelo completo: Stability AI presenta sus Control-LoRA como una forma de llevar el control a una gama más amplia de tarjetas gráficas de consumo. En segundo lugar, hay que tener cuidado con el formato: los archivos .pth de ControlNet 1.1 son pickles de Python, algo que Hugging Face señala con una advertencia de importación de pickle. Da preferencia a las versiones .safetensors, que no pueden ejecutar código.

¿Cuánta VRAM adicional? Los desarrolladores no anuncian una cifra general, y la medición depende del modelo y de la resolución. Si la memoria está saturada, las soluciones deben aplicarse en este orden: bajar la resolución, reducir el número de controles simultáneos y, después, pasar a un control más ligero, como un Control-LoRA o una versión de media precisión. Para los requisitos básicos de memoria, ver la guía sobre la VRAM.

• VRAM: ¿qué es y cuánta se necesita para la IA?

#Dónde usarlo

ControlNet no es una aplicación autónoma: funciona dentro de una interfaz de generación de imágenes. En ComfyUI, dos nodos hacen el trabajo: Load ControlNet, que lee los archivos de la carpeta models/controlnet, y Apply ControlNet, que recibe la imagen de control y los ajustes de la tabla anterior. La documentación de ComfyUI especifica que el núcleo del software no incluye todos los preprocesadores: a menudo se necesita una extensión como ComfyUI ControlNet aux. Recuerda que una extensión es código ejecutado con tus permisos: instala solo extensiones conocidas. Para Z-Image Turbo, el archivo de control se guarda en otra carpeta, models/model_patches.

En la interfaz web clásica, la extensión sd-webui-controlnet de AUTOMATIC1111 añade un panel bajo el prompt. Su última entrada de novedades, correspondiente a la versión 1.1.454, data de julio de 2024, al igual que su último commit: sigue funcionando con SD 1.5 y SDXL, pero no incorporará compatibilidad con los modelos recientes. Forge integra ControlNet directamente, según su README, sin recurrir a esta extensión.

#Combinar varios controles al mismo tiempo

Nada impide combinar dos controles, por ejemplo, uno de pose para la postura del personaje y otro de profundidad para el escenario. La documentación de diffusers establece la regla: para obtener buenos resultados, aplica máscaras a los condicionamientos para que no se solapen y experimenta con distintas intensidades para ajustar el peso de cada control. Su ejemplo de SDXL combina canny y profundidad con una intensidad de 0,5 cada uno. En ComfyUI, se encadenan los nodos Apply ControlNet. Los mismos principios se aplican en ambos casos: combinar únicamente controles que actúen sobre aspectos distintos de la imagen y reducir la intensidad de cada uno, porque los efectos se suman.

#Cuando se ignora el control

El control no aparece en la lista

El archivo está en el directorio incorrecto, o su archivo de configuración no tiene el mismo nombre que él. En ComfyUI, el directorio es models/controlnet.

La salida ignora la referencia

Incompatibilidad entre la familia del modelo base y la del control, un preprocesador que ha generado un mapa vacío o una intensidad demasiado baja. Visualiza el propio mapa de control antes de sospechar de otra cosa.

Las imágenes quedan rígidas y sin vida

Intensidad demasiado alta, o control aplicado durante todo el proceso de eliminación de ruido. Reduce la intensidad y detén el control antes del final.

Resultado decepcionante con un modelo Union

Los autores del modelo Union de InstantX escriben que incluso un modelo Union completamente entrenado puede rendir peor que los modelos especializados, como el de pose. Prueba un ControlNet específico y escribe un prompt detallado, como recomienda la ficha de Shakker Labs.

Memoria saturada

Baja la resolución, elimina un control o utiliza una versión más ligera del control.

• ComfyUI: instalar la interfaz basada en grafos
• AUTOMATIC1111: la interfaz web clásica
• Panorama de la generación de imágenes en local
• Kit de imágenes IA: workflows y ajustes de ControlNet por tarjeta gráfica
• Fuente: el repositorio oficial de ControlNet
• Fuente: el artículo de investigación original, ICCV 2023
• Fuente: los Control-LoRA de Stability AI para SDXL
• Fuente: FLUX.1 Tools y la declaración de Depth y Canny como obsoletos

#FAQ