Um esboço grosseiro basta para a IA ler profundidade e pose. Este fluxo transforma um esboço, feito em papel com caneta, no Photoshop ou numa ferramenta como o Alchemy, em concept art finalizada com o Flux no ComfyUI.
O Flux é pesado: você precisa de pelo menos 12 GB de VRAM. Se você tem um laptop comum com 3–4 GB, a versão SDXL deste fluxo é para você. O Flux dá resultados melhores; o SDXL é mais rápido.
Em resumo
- Profundidade: o Depth Anything V2 lê profundidade até de um esboço vago.
- ControlNet: Flux depth ControlNet v3, da XLabs.
- Resolução: quadrada e sempre múltiplo de 8, por exemplo 1024 × 1024.
- Sampler: seed em increment, 35 steps.
- Sem GPU? Rode na nuvem.
Custom nodes
Todos pelo ComfyUI Manager: comfyui_controlnet_aux, rgthree, x-flux-comfyui, ComfyUI Essentials e ComfyUI-GGUF. Cada nó do fluxo mostra de que pacote vem, então você sempre pode procurá-lo.
1. Carregue e redimensione o esboço
O Load Image recebe o seu esboço. O Image Resize (do ComfyUI Essentials) o leva a uma de algumas boas resoluções. Listo-as numa nota no fluxo.
O quadrado é o formato mais nativo para o SDXL e o Flux, e é o que rende melhor na minha experiência. Retrato e paisagem também servem; uso bastante.
Use múltiplos de 8. A imagem é comprimida oito vezes ao entrar no espaço latente, onde a difusão acontece. Um esboço escaneado em 1753 × 1753 não é divisível por 8, e tamanhos ímpares assim às vezes funcionam e às vezes dão glitches. Testei muitas resoluções; fique nas comuns.
2. Leia a profundidade
O Depth Anything V2 (do comfyui_controlnet_aux) lê a profundidade do esboço. É notável o que ele tira de algumas linhas de caneta. O ajuste de resolução dele escala o lado curto para 1024, o que se sobrepõe ao redimensionamento, mas mantenho o redimensionamento de qualquer forma: às vezes trago um render de profundidade direto do Blender e ignoro o Depth Anything (Ctrl+B).
Baixe o modelo pelo Model Manager (uso o maior, que deve render melhor) e depois só recarregue o navegador; não precisa reiniciar. Ele é independente do Flux ou do SDXL, que é uma das coisas boas do ComfyUI: você pode combinar modelos de fontes diferentes.
Dica: o mapa de profundidade só é tão claro quanto o seu esboço. Esboce as mãos direito e preencha a silhueta com um tom sólido, e o modelo terá muito mais com que trabalhar.
3. Aplique o ControlNet do Flux
A imagem de profundidade entra no Apply Flux ControlNet (do x-flux-comfyui). Ler profundidade é uma habilidade à parte, então precisa de um modelo à parte, e treinar um custa dezenas ou centenas de milhares de dólares. Aqui é o Flux depth ControlNet v3 da XLabs, encontrado no Model Manager.
4. Modelo e tela
O Load Diffusion Model carrega o Flux dev. O Empty Latent Image é a tela onde a imagem é gerada, então o tamanho dele deve combinar com o seu redimensionamento: aqui, 1024 × 1024.
Defina a resolução uma vez. Em vez de digitar 1024 em vários lugares, adicione um nó de inteiro (do pacote ComfyUI Easy Use), digite o tamanho ali e conecte-o a todas as larguras e alturas. Para subir a 1536, você muda um número.
5. Prompt
O DualCLIPLoader carrega os dois codificadores de texto do Flux: CLIP-L e T5 XXL, ambos no Model Manager. Há muitas versões; não vi muita diferença entre elas e fico com os safetensors fp8 normais.
Renomeei o nó CLIP Text Encode para «Positive Prompt» para o grafo ficar legível. Peça ao ChatGPT ou ao Gemini ajuda para escrever o prompt. Ele passa pelo Flux Guidance e vai ao condicionamento do sampler. O prompt negativo também está conectado, mas no Flux ele não é subtraído do positivo como no SDXL, então tem muito pouco efeito.
6. Ajustes do sampler
O XLabs Sampler:
- Seed: increment. A seed aleatória padrão dá números enormes. Em increment, cada imagem é uma acima da anterior (1, 2, 3…), o que facilita acompanhar e compartilhar: diga a alguém a seed e os ajustes, e a pessoa pode reproduzir a sua imagem.
- Steps: 35. De 20 a 50 funciona; acima de 50 há retornos decrescentes, mais lento sem imagem melhor. 35 me dá uma imagem boa sem espera longa demais, já que o Flux é exigente.
- Todo o resto: deixe como está. Esses ajustes não conseguem melhorar este resultado, mas podem piorá-lo.
7. Decodifique e salve
O VAE Decode, com o VAE do Flux (um download pequeno pelo Model Manager), converte o resultado do espaço latente em pixels. O Save Image o grava com o prefixo que você definiu.
As mãos costumam ser o ponto fraco; eu as corrijo com inpainting, tratado em corrigindo mãos de IA. Para rodar muitos esboços ou fotos de uma vez, veja concept art em lote a partir de fotos.
Sem GPU? Rode na nuvem
Este fluxo está no RunComfy, já configurado, com minutos de teste gratuitos: sem instalação, é só clicar e experimentar. Hoje em dia rodo meu trabalho no ComfyUI no RunPod, que dá uma máquina inteira por hora; minha introdução ao RunPod mostra a configuração.
O link do RunComfy é um link de indicação, assim como meu link de indicação do RunPod: novas contas do RunPod que se cadastram com o Google ganham de US$ 5 a US$ 500 em crédito após seus primeiros US$ 10, e eu recebo uma pequena comissão.
Assista à versão em vídeo (10:37)
Tudo o que está acima também está no vídeo, se você preferir acompanhar na tela. O vídeo está em inglês.
Perguntas frequentes
Quanta VRAM o Flux precisa para esboço em imagem?
Pelo menos 12 GB. Com menos, use a versão SDXL deste fluxo, que roda com 3–4 GB, ou rode o Flux numa GPU na nuvem.
Por que algumas resoluções dão glitches?
As imagens são comprimidas oito vezes no espaço latente, então os tamanhos devem ser múltiplos de 8. Um tamanho ímpar como 1753 × 1753 às vezes funciona e às vezes dá glitches. Tamanhos quadrados como 1024 × 1024 são os mais confiáveis.
Como obter um resultado melhor a partir de um esboço grosseiro?
Ajude o modelo de profundidade: preencha a silhueta com um tom sólido e esboce as mãos direito. O mapa de profundidade só pode ser tão claro quanto o esboço.
Anton Tenitsky é artista 3D com mais de 15 anos em computação gráfica, que trabalhou com Nickelodeon, Gameloft, Marvel Rivals e muitos outros clientes. Mais sobre mim