Convierte bocetos en arte con IA en una GPU de 4 GB con SDXL en ComfyUI

Construye paso a paso un flujo gratuito y sin conexión de boceto a imagen: SDXL con Juggernaut XL, un mapa de profundidad de Depth Anything y un ControlNet de profundidad de SDXL. Funciona en un portátil con solo 4 GB de VRAM.

Anton Tenitsky13 de octubre de 20266 min de lecturaVersión en vídeo más abajo

Esta guía se tradujo del inglés con IA y puede contener errores. Leer el original.

Una mujer cyberpunk reclinada en un túnel iluminado con neones, generada con SDXL a partir de un sencillo boceto a pluma

De un garabato a una portada en menos de un minuto, incluso en un portátil con 4 GB de VRAM. Este flujo gratuito y sin conexión de ComfyUI lee la profundidad de un boceto sencillo y genera una imagen que se mantiene fiel a él. ChatGPT hace algo parecido, pero aquí ves exactamente cómo funciona y mantienes el control total, sin suscripciones y sin censura. Y no tienen por qué ser pin-ups: una poción, una espada, una criatura, cualquier cosa que puedas dibujar.

Esta versión usa SDXL, que es rápido y ligero. SDXL tiende a equivocarse con las manos; esas las arreglo con Flux, que es más pesado y mejor. La entrada tampoco tiene que ser un boceto: una foto o un render 3D funcionan igual.

En resumen

  • Modelo: Juggernaut XL, un checkpoint SDXL.
  • Profundidad: Depth Anything V2 más un ControlNet de profundidad de SDXL.
  • Ajustes: 1024 × 1024, 25 steps, CFG 6–8, fuerza de ControlNet de unos 0,55.
  • Velocidad con 4 GB: unos 40–80 segundos por imagen.
  • Cuenta con seleccionar: quizá una imagen de cada cinco sea realmente buena.

Constrúyelo paso a paso

Empieza desde el preajuste de generación de imágenes estándar de ComfyUI; ahorra algo de tiempo. Añadirás tres paquetes personalizados desde el Manager: ComfyUI Essentials, comfyui_controlnet_aux (para Depth Anything V2) y rgthree. Para el nodo de enteros, añade ComfyUI Easy Use.

Un pequeño hábito que ayuda: renombra los dos nodos de prompt como «Positive Prompt» y «Negative Prompt», y coloréalos de verde y rojo (clic derecho → Color).

1. Carga y redimensiona el boceto

Añade un nodo Load Image con tu boceto. Yo trabajo con imágenes cuadradas; son más fáciles. Redimensiónalo con el nodo Image Resize de Essentials a 1024 × 1024: los modelos SDXL se entrenaron con ese tamaño, y las dimensiones deben ser divisibles entre 8.

Un sencillo boceto a pluma de una mujer reclinada cargado en ComfyUI
La entrada: un boceto rápido a pluma de una figura reclinada.

2. Usa el boceto como lienzo de partida

En lugar del Empty Latent Image, codifica la imagen redimensionada con VAE Encode (VAE del checkpoint, imagen a su entrada de píxeles) y conéctalo a la entrada latente del KSampler. Puedes borrar el latente vacío.

3. Carga Juggernaut XL

El checkpoint por defecto es Stable Diffusion 1.5. Cámbialo por Juggernaut XL, un modelo SDXL gratuito en Civitai, donde también encontrarás los ajustes recomendados para el KSampler. Pon el archivo en ComfyUI/models/checkpoints/ y luego actualiza el navegador (Ctrl+R) para que ComfyUI lo muestre.

Ajustes del KSampler:

  • Steps: 25. Los steps son calidad, pero pasar de 50 aporta poco. 25 da buenos resultados y ahorra tiempo.
  • CFG: 6–8. El CFG (classifier-free guidance) es cuánta libertad recibe el modelo del prompt. Con 9 o 10 la imagen se quema: contraste duro, aspecto raro. Con 6 el modelo tiene más margen para interpretar, lo que puede ser bueno. Con 3 se vuelve ruidosa.
El nodo KSampler con seed, 25 steps, CFG y los ajustes del sampler dpmpp
El KSampler, con los valores recomendados por el modelo.

4. El grupo de profundidad

Busca Depth Anything V2 (de comfyui_controlnet_aux) y añádelo. Descarga el modelo de Depth Anything desde el Model Manager, actualiza el navegador y conecta tu imagen.

Fija la resolución una sola vez: añade un nodo de entero (de Easy Use), escribe 1024 y conéctalo al ancho y alto del cambio de tamaño y a la resolución de Depth Anything. Cuando quieras probar una resolución más alta, cambias un solo número.

Para probar solo esta parte, selecciona los otros nodos y desactívalos (Ctrl+B), y luego ejecuta. Verás el mapa de profundidad.

Haz el boceto más fácil de leer. Mi primer mapa de profundidad era solo aceptable. Rellenar la figura, con pluma sobre papel o con un relleno rápido en Photoshop, dio un mapa de profundidad claramente mejor, aunque el pie seguía algo vago.

5. El ControlNet

Añade Apply ControlNet (un nodo estándar) y conecta la imagen de profundidad, las dos salidas de prompt y el VAE. Sus salidas van al KSampler. Después añade Load ControlNet Model y conéctalo.

El nodo Load ControlNet Model con un ControlNet de profundidad de SDXL seleccionado
El modelo ControlNet de profundidad de SDXL.

Los ControlNet son específicos de cada modelo. SD 1.5, SDXL y Flux tienen cada uno el suyo. De hecho, cuando sale un modelo nuevo y reluciente, a menudo todavía no tiene ControlNet: genial para hacer prompts, pero inútil para el trabajo real en el que necesitas control. Encuentra ControlNet SDXL depth en el Model Manager, actualiza y selecciónalo.

Primeros resultados, y el ajuste que los arregla

Mi primer prompt fue sencillo: una mujer reclinada en un campo de hierba. En el portátil de 4 GB, la primera imagen tardó 65 segundos (incluida la carga del modelo). La pose era correcta, pero la imagen no era buena. Un mejor prompt de ChatGPT y un sampler adecuado para imágenes fotorrealistas ayudaron un poco. Seguía sin ser buena.

La verdadera solución fue la fuerza del ControlNet. Con 1,0 el modelo se pega tanto al boceto que el resultado se ve mal. Bajarla a 0,55 dio al modelo margen para interpretar la pose, y el resultado mejoró mucho. Las manos y el rostro seguían siendo típicos de SDXL.

Una mujer cyberpunk reclinada en un túnel de neón, generada a partir del boceto
Con fuerza 0,55 y un mejor prompt: mucho más cerca de una portada.

No subas la resolución para arreglar el detalle

Subir la resolución mejora los rostros y las manos, en teoría. Pero SDXL estira el cuerpo: a 1536 las extremidades ya se alargan, y a 2048 la figura parece alienígena. Lo habitual es generar a unos 1024 y luego escalar; mira mi guía de escalado gratuito.

Una mujer saltando con un traje rojo generada a 1536 por 1536, con las extremidades visiblemente estiradas
A 1536 × 1536, la anatomía se estira.

Ejecútalo durante la noche y selecciona

Quizá una generación de cada cinco sea realmente buena. Es normal: todo el mundo selecciona lo mejor de lo que produce la IA, así que no te creas los vídeos publicitarios. Cambia la cola a Run (Instant) y déjalo toda la noche, y tendrás mil renders entre los que elegir.

Añade un comparador de imágenes de rgthree con el boceto como imagen A y el resultado como imagen B, y arrastra el deslizador para comparar.

Un comparador de imágenes que divide la imagen generada y el boceto a pluma original
El comparador: el boceto a un lado, el resultado al otro.

Bocetos no cuadrados

Para un boceto no cuadrado, pon el cambio de tamaño en 1024 con keep proportions. El lado largo pasa a 1024 y el corto lo sigue. Mi primer intento usó fill/crop, que forzó un cuadrado y cortó parte del boceto. Keep proportions lo cubrió entero.

Un boceto a pluma de un gran martillo de guerra, una imagen ancha y no cuadrada
Un boceto ancho: usa keep proportions, no fill/crop.

Una salvedad: el cambio de tamaño proporcional da tamaños raros para el lado corto (por ejemplo 716 o 537), lo que puede causar generaciones ruidosas y malas de vez en cuando. Es una forma rápida de manejar imágenes no cuadradas, pero ceñirse a resoluciones estándar es más fiable.

Más ejemplos

Un boceto de Photoshop de varias armas, con un prompt sencillo, se convirtió en una colección de armas. Un boceto de una criatura que dibujé hace unos 20 años salió muy parecido: la anatomía de los cascos y la silla seguían el dibujo. Subir la fuerza a 0,7 captaría mejor la cola, y nombrar la cola y la cabeza en el prompt también ayudaría.

Un conjunto de tres armas de ciencia ficción generadas a partir de un boceto de Photoshop
Un boceto de armas en Photoshop, convertido en una colección de armas.
Una criatura de montar de cuello largo con silla, generada a partir de un boceto antiguo
Una criatura de un boceto de hace 20 años, muy cercana al dibujo original.

¿SDXL o Flux?

SDXL es estupendo para ordenadores con 4 u 8 GB de VRAM. Con 16–24 GB, usa Flux: mayor calidad, más variación y mejor adherencia al prompt, pero mucho más lento y exigente. La versión de Flux de este flujo está en de boceto a arte con Flux, y el flujo completo de SDXL está en mi Patreon.

Ver la versión en vídeo (16:26)

Todo lo anterior también está en el vídeo, si prefieres seguirlo en pantalla. El vídeo está en inglés.

Preguntas frecuentes

¿Puede SDXL funcionar en una GPU de 4 GB?

Sí. En mi portátil de 4 GB la primera imagen tardó unos 65 segundos (incluida la carga del modelo), y las siguientes de 40 a 80 segundos.

¿Qué fuerza de ControlNet debo usar con SDXL?

Alrededor de 0,55. A fuerza máxima el modelo se pega tanto al boceto que los resultados empeoran. Sube a unos 0,7 si no sigue el boceto con suficiente fidelidad.

¿Por qué mis personajes salen con extremidades largas a resoluciones más altas?

SDXL se entrenó alrededor de 1024 × 1024. A 1536 la anatomía ya se estira, y a 2048 parece alienígena. Genera a 1024 y escala después.

¿Qué CFG debo usar?

Entre 6 y 8, según lo recomendado para Juggernaut XL. Por encima de 8 la imagen empieza a quemarse; alrededor de 3 se vuelve ruidosa.

Anton Tenitsky es artista 3D con más de 15 años en gráficos por ordenador, que ha trabajado con Nickelodeon, Gameloft, Marvel Rivals y muchos otros clientes. Más sobre mí

Guías relacionadas