De um rabisco a uma capa de arte em menos de um minuto, até num laptop com 4 GB de VRAM. Este fluxo gratuito e offline do ComfyUI lê a profundidade de um esboço simples e gera uma imagem fiel a ele. O ChatGPT faz algo parecido, mas aqui você vê exatamente como funciona e mantém controle total, sem assinaturas e sem censura. E não precisam ser pin-ups: uma poção, uma espada, uma criatura, qualquer coisa que você consiga esboçar.
Esta versão usa o SDXL, que é rápido e leve. O SDXL costuma errar as mãos; eu as corrijo com o Flux, que é mais pesado e melhor. A entrada também não precisa ser um esboço: uma foto ou um render 3D funciona do mesmo jeito.
Em resumo
- Modelo: Juggernaut XL, um checkpoint SDXL.
- Profundidade: Depth Anything V2 mais um ControlNet de profundidade do SDXL.
- Ajustes: 1024 × 1024, 25 steps, CFG 6–8, força do ControlNet cerca de 0,55.
- Velocidade com 4 GB: cerca de 40 a 80 segundos por imagem.
- Espere escolher a dedo: talvez uma imagem em cinco seja realmente boa.
Monte passo a passo
Comece pelo preset de standard image generation do ComfyUI; poupa algum tempo. Você vai adicionar três pacotes custom pelo Manager: ComfyUI Essentials, comfyui_controlnet_aux (para o Depth Anything V2) e rgthree. Para o nó de inteiro, adicione o ComfyUI Easy Use.
Um pequeno hábito que ajuda: renomeie os dois nós de prompt como «Positive Prompt» e «Negative Prompt» e pinte-os de verde e vermelho (botão direito → Color).
1. Carregue e redimensione o esboço
Adicione um nó Load Image com o seu esboço. Trabalho com imagens quadradas; são mais fáceis. Redimensione com o nó Image Resize do Essentials para 1024 × 1024: os modelos SDXL foram treinados nesse tamanho, e as dimensões devem ser divisíveis por 8.
2. Use o esboço como tela inicial
No lugar do Empty Latent Image, codifique a imagem redimensionada com o VAE Encode (VAE do checkpoint, imagem na entrada de pixels) e conecte isso à entrada latente do KSampler. Você pode apagar o latente vazio.
3. Carregue o Juggernaut XL
O checkpoint padrão é o Stable Diffusion 1.5. Troque-o pelo Juggernaut XL, um modelo SDXL gratuito no Civitai, onde você também encontra os ajustes recomendados para o KSampler. Coloque o arquivo em ComfyUI/models/checkpoints/ e depois atualize o navegador (Ctrl+R) para o ComfyUI listá-lo.
Ajustes do KSampler:
- Steps: 25. Steps são qualidade, mas acima de 50 acrescenta pouco. 25 dá bons resultados e economiza tempo.
- CFG: 6–8. O CFG (classifier-free guidance) é quanta liberdade o modelo recebe do prompt. Em 9 ou 10 a imagem queima: contraste duro, aspecto estranho. Em 6 o modelo tem mais espaço para interpretar, o que pode ser bom. Em 3 fica ruidosa.
4. O grupo de profundidade
Busque Depth Anything V2 (do comfyui_controlnet_aux) e adicione. Baixe o modelo Depth Anything pelo Model Manager, atualize o navegador e conecte sua imagem.
Defina a resolução uma vez: adicione um nó de inteiro (do Easy Use), digite 1024 e conecte-o à largura e altura do redimensionamento e à resolução do Depth Anything. Quando quiser testar uma resolução maior, você muda um número.
Para testar só esta parte, selecione os outros nós e ignore-os (Ctrl+B), depois execute. Você verá o mapa de profundidade.
Torne o esboço mais fácil de ler. Meu primeiro mapa de profundidade foi só ok. Preencher a figura, com caneta no papel ou um preenchimento rápido no Photoshop, deu um mapa de profundidade claramente melhor, embora o pé ainda estivesse um pouco vago.
5. O ControlNet
Adicione o Apply ControlNet (um nó padrão) e conecte a imagem de profundidade, as duas saídas de prompt e o VAE. As saídas dele vão para o KSampler. Depois adicione o Load ControlNet Model e conecte.
Os ControlNets são específicos de cada modelo. SD 1.5, SDXL e Flux têm cada um o seu. Aliás, quando um modelo novo e brilhante sai, muitas vezes ainda não tem ControlNets: ótimo para prompts, mas inútil para trabalho de verdade em que você precisa de controle. Encontre o ControlNet SDXL depth no Model Manager, atualize e selecione.
Primeiros resultados, e o ajuste que os corrige
Meu primeiro prompt era simples: uma mulher reclinada num campo de grama. No laptop de 4 GB, a primeira imagem levou 65 segundos (incluindo o carregamento do modelo). A pose estava certa, mas a imagem não era boa. Um prompt melhor do ChatGPT e um sampler adequado a imagens fotorrealistas ajudaram um pouco. Ainda não estava boa.
A solução de verdade foi a força do ControlNet. Em 1,0 o modelo cola tanto no esboço que o resultado fica ruim. Baixar para 0,55 deu ao modelo espaço para interpretar a pose, e o resultado ficou muito melhor. As mãos e o rosto ainda eram típicos do SDXL, porém.
Não aumente a resolução para corrigir detalhes
Aumentar a resolução melhora rostos e mãos, em teoria. Mas o SDXL estica o corpo: em 1536 os membros já ficam mais longos, e em 2048 a figura parece alienígena. A abordagem usual é gerar em cerca de 1024 e depois ampliar; veja meu guia de upscaling gratuito.
Rode durante a noite e escolha a dedo
Talvez uma geração em cinco seja realmente boa. É normal: todo mundo escolhe a dedo o que a IA produz, então não acredite nos vídeos de marketing. Mude a fila para Run (Instant) e deixe a noite toda, e você terá mil renders para escolher.
Adicione um rgthree image comparer com o esboço como imagem A e o resultado como imagem B, e arraste o controle deslizante para comparar.
Esboços não quadrados
Para um esboço não quadrado, defina o redimensionamento em 1024 com keep proportions. O lado longo vira 1024 e o curto acompanha. Minha primeira tentativa usou fill/crop, que forçou um quadrado e cortou parte do esboço. Keep proportions cobriu o esboço todo.
Uma ressalva: o redimensionamento proporcional dá tamanhos ímpares para o lado curto (digamos 716 ou 537), o que pode causar gerações ruidosas e ruins de vez em quando. É um jeito rápido de lidar com imagens não quadradas, mas manter as resoluções padrão é mais confiável.
Mais exemplos
Um esboço de Photoshop de várias armas, com um prompt simples, virou uma coleção de armas. Um esboço de criatura que desenhei há uns 20 anos saiu notavelmente próximo: a anatomia dos cascos e a sela seguiram o desenho. Subir a força para 0,7 pegaria melhor a cauda, e nomear a cauda e a cabeça no prompt também ajudaria.
SDXL ou Flux?
O SDXL é ótimo para computadores com 4 ou 8 GB de VRAM. Com 16–24 GB, use o Flux: maior qualidade, mais variação e melhor aderência ao prompt, mas muito mais lento e exigente. A versão do Flux deste fluxo está em esboço em arte com o Flux, e o fluxo completo do SDXL está no meu Patreon.
Assista à versão em vídeo (16:26)
Tudo o que está acima também está no vídeo, se você preferir acompanhar na tela. O vídeo está em inglês.
Perguntas frequentes
Posso rodar o SDXL numa GPU de 4 GB?
Sim. No meu laptop de 4 GB a primeira imagem levou cerca de 65 segundos (incluindo o carregamento do modelo), e as seguintes de 40 a 80 segundos.
Que força de ControlNet devo usar com o SDXL?
Cerca de 0,55. Em força total o modelo cola tanto no esboço que os resultados pioram. Suba até cerca de 0,7 se ele não estiver seguindo o esboço de perto o suficiente.
Por que meus personagens saem com membros longos em resoluções maiores?
O SDXL foi treinado em torno de 1024 × 1024. Em 1536 a anatomia já se estica, e em 2048 parece alienígena. Gere em 1024 e amplie depois.
Que CFG devo usar?
Entre 6 e 8, como recomendado para o Juggernaut XL. Acima de 8 a imagem começa a queimar; perto de 3 fica ruidosa.
Anton Tenitsky é artista 3D com mais de 15 anos em computação gráfica, que trabalhou com Nickelodeon, Gameloft, Marvel Rivals e muitos outros clientes. Mais sobre mim