Genera prompts automáticamente a partir de imágenes en ComfyUI con un modelo de visión local

Escribir prompts es la parte lenta de generar imágenes en lote. Este flujo se la entrega a una IA que puede ver: un modelo de lenguaje con visión mira cada uno de tus bocetos, lo describe y escribe un prompt nuevo. Luego SDXL o Flux genera una imagen nueva que sigue el boceto a través de un ControlNet de profundidad.

Todo funciona en local en tu ordenador, sin conexión. Dale 10 o 50 bocetos antes de acostarte y puedes despertarte con unos miles de imágenes.

LLM, MLLM y VLM, en breve

El ChatGPT original solo admitía texto: un modelo de lenguaje grande (LLM). ChatGPT, Gemini y Grok son ahora modelos multimodales (MLLM) que también admiten imágenes, audio y más. Un modelo de lenguaje con visión (VLM) es el de imagen y texto, y eso es lo que necesitamos: algo que pueda mirar una imagen y escribir sobre ella.

Lo que yo no sabía antes: puedes ejecutar tanto LLM como VLM en tu propio ordenador, sin conexión a internet.

1. Instala Ollama

Ollama ejecuta modelos de lenguaje en local. Descarga el instalador (unos 700 MB; los modelos en sí son más grandes), ejecútalo y, si te lo pide, pega el comando que muestra en un Símbolo del sistema para terminar la configuración. Cuando acaba, el icono de Ollama aparece en la bandeja del sistema. No hay nada que configurar; solo tiene que estar en marcha junto a ComfyUI.

2. Instala los paquetes de nodos

En el Custom Nodes Manager de ComfyUI, una búsqueda de «VLM» muestra muchos paquetes. Muchos no se han actualizado desde que ComfyUI pasó de Python 3.11 a 3.12, y ya no funcionan. Los dos que usé, que sí funcionan:

• ComfyUI Ollama Describer, los nodos que hablan con Ollama.
• ComfyUI LayerStyle, que no es para modelos de lenguaje pero resulta útil más adelante en el flujo.

Instala ambos y reinicia ComfyUI.

3. Elige un modelo

Añade un nodo Ollama Text Describer para empezar. Su lista de modelos muestra nombres y tamaños. Los modelos no vienen preinstalados; la primera vez que eliges uno, se descarga en tu carpeta de usuario de la unidad del sistema. Puedes cambiar esa carpeta en los ajustes de Ollama (haz clic en el icono de la bandeja).

Dos molestias que conviene conocer:

• Los modelos descargados no conservan nombres legibles, así que no puedes saber cuáles ya tienes. Apúntalos.
• Los modelos de texto no ven. Un LLM solo produce texto; para descripciones de imágenes necesitas un modelo de visión.

Por lo que probé:

4. Describe una imagen y escribe un prompt

Para imágenes, usa el nodo Ollama Image Describer. Toma una imagen, sigue tus instrucciones y produce texto, que se convierte en el prompt. Conecta un nodo de vista previa de texto para leerlo.

Cargué uno de mis bocetos y usé LLaVA Q4 (LLaVA con cuantización de 4 bits), que dio los mejores prompts de los modelos que probé. El nodo tiene dos campos de instrucciones. Descubrí que el segundo es el que de verdad cuenta. El mío decía, en esencia: crea un prompt para la generación de imágenes fotográficas de esta persona en ese entorno, y no uses comillas, que algunos modelos añaden por todas partes.

Evita los modelos de «razonamiento». Escriben su razonamiento («estoy pensando cómo responder…») en lugar de un prompt, lo cual no sirve para pasárselo a un modelo de imágenes.

5. Los ajustes que importan

Keep-alive. -1 mantiene el modelo cargado en memoria; 0 lo descarga después de cada prompt. Normalmente uso 0. Con SDXL y 16–24 GB de VRAM puedes mantenerlo cargado y ahorrar unos segundos por imagen. Con Flux, tuve que descargarlo cada vez incluso con 24 GB: si no, el modelo de visión de 5 GB ocupaba tanta memoria que el render de la imagen se atascaba.

Máximo de tokens. Ajústalo al modelo de imágenes: 512 para Flux, pero solo 77 para SDXL, el tamaño de la ventana de su codificador de texto.

Seed. La seed del descriptor no cambia por sí sola, así que obtendrías el mismo prompt en cada ejecución. Añade el nodo Seed de rgthree, ponlo en aleatorio cada vez y conéctalo al descriptor. Ahora cada ejecución escribe un prompt nuevo. Combinado con un ajuste en las instrucciones («en un lugar concreto», «en este escenario»), cada boceto produce un flujo de ideas distintas.

Dejé la penalización de repetición y la temperatura en sus valores por defecto; son suficientemente buenos.

6. El flujo completo: de bocetos a imágenes, automáticamente

La versión completa, que está en mi Patreon, lo junta todo:

1. Load Image Batch recoge el siguiente boceto de una carpeta en cada ejecución.
2. El Ollama Image Describer escribe un prompt nuevo para él. Mis bocetos eran de distintas mujeres en distintas poses, así que la misma instrucción produjo un prompt diferente para cada una.
3. El prompt va al prompt positivo del modelo de imágenes.
4. Depth Anything convierte el boceto en un mapa de profundidad, y Apply ControlNet lo usa para mantener la pose.
5. KSampler genera la imagen. Para SDXL usé Juggernaut XL (unos 6 GB).

El ancho y el alto se fijan una sola vez, como nodos de enteros, y se reutilizan para el cambio de tamaño, el mapa de profundidad y el lienzo.

Con Flux es el mismo flujo, usando el XLabs Sampler y Flux dev en lugar de SDXL. Flux fue más creativo y dio más variación. Recuerda el ajuste de keep-alive.

La potencia de esto está en la escala: prepara 10 o 50 bocetos, ejecútalo durante la noche con una seed aleatoria y obtendrás miles de imágenes distintas, cada una siguiendo aún uno de tus dibujos. Para otras formas de alimentar prompts en lote, mira las listas de prompts y mi nodo Prompt Cycler.

Anton Tenitsky es artista 3D con más de 15 años en gráficos por ordenador, que ha trabajado con Nickelodeon, Gameloft, Marvel Rivals y muchos otros clientes. Más sobre mí