Concept art de IA ao vivo a partir do Blender: desenhe armas de ficção científica com compartilhamento de tela, SDXL e ComfyUI

Escale a caixa, ganhe uma arma maior. Esta configuração permite desenhar um adereço direto no Blender, com cubos e cilindros, enquanto o ComfyUI transforma o viewport em concept art finalizada ao vivo: mova uma peça e o render se atualiza. Funciona com SDXL ou Flux. O Flux é mais lento, mas a saída é mais nítida e de maior qualidade.

É de código aberto, sem assinaturas e sem censura. Aqui monto o fluxo inteiro do zero.

Monte o fluxo

1. Comece pelo template padrão

Abra o ComfyUI, vá em Workflow → Browse Templates e escolha o template básico de geração de imagens. Ignore o aviso de modelo ausente se você já o tem.

2. Use um modelo rápido

Para trabalho ao vivo, a velocidade importa. Uso o Juggernaut XL Lightning, um modelo SDXL muito rápido que precisa de apenas 4–6 steps com CFG 1–2. Defina o KSampler assim:

• Seed: increment, para os renders serem numerados 1, 2, 3 em vez de números aleatórios enormes.
• Steps: 6.
• CFG: 1,5.
• Sampler / scheduler: euler / normal.
• Denoise: 1,0. O denoise mistura a imagem original ao resultado. Reduza-o aqui e a sua captura cinza do Blender só vira um render mais cinza.

3. Adicione a captura de tela

Busque o Screen Share dos nós do Mixlab (instale o pacote pelo Custom Nodes Manager). O Manager pode avisar de conflitos com outros pacotes, porque muitos nomes de nós se sobrepõem; geralmente não é problema, a menos que o seu fluxo seja enorme.

É um nó em JavaScript e um pouco bugado: a interface desenha fora dos limites do nó, e se você alternar entre fluxos ele pode congelar em cores de arco-íris. Recarregar o navegador (Ctrl+R) resolve; isso recarrega a página, não o ComfyUI.

4. Redimensione e codifique

• O Image Resize (do Essentials) leva a imagem capturada a 1920 × 1088. Uso esses números também com o Flux, e funcionam bem com o SDXL. Desta vez eu queria imagens largas, não só quadradas.
• O VAE Encode transforma os pixels em espaço latente. Conecte o VAE do checkpoint e envie o latente ao KSampler. Apague o nó Empty Latent Image.

5. Profundidade e ControlNet

• Depth Anything: pegue o modelo no Model Manager (o maior deve dar a melhor qualidade), recarregue o navegador e defina a resolução no lado curto, 1088. Isso continua funcionando quando você vira para retrato.
• Um nó de pré-visualização, para ver o mapa de profundidade.
• O Apply ControlNet, o nó que comanda todas as entradas: a imagem de profundidade, o VAE e os dois prompts passam por ele rumo ao KSampler.
• O Load ControlNet Model com um ControlNet de profundidade do SDXL (também no Model Manager).

Salve o fluxo neste ponto. Renomeie os nós de prompt como «Positive Prompt» e «Negative Prompt» para manter a legibilidade.

Entre ao vivo

Ponha o Blender e o navegador lado a lado, em duas telas ou dividindo uma (Win+Esquerda / Win+Direita). No Blender, isole o adereço e aperte N para esconder painéis de que não precisa.

Escreva o prompt (tive ajuda do ChatGPT), depois clique em Share Screen, escolha a janela do Blender e defina a área: arraste um quadro em volta da parte do viewport a capturar. A imagem capturada é pequena, e tudo bem: o modelo só precisa de uma aproximação da forma.

Clique em Live Run. Cada mudança no Blender agora dispara um novo render.

Primeira correção: a força do ControlNet

O primeiro resultado ficou esticado: as proporções da área de captura não combinavam com a tela de 1920 × 1088. Ajuste a área até ter mais ou menos a forma certa.

A correção maior: a força do ControlNet estava em 1,0, então o modelo seguia o mapa de profundidade de forma rígida demais. Em 0,55 ficou bem melhor. Com força baixa ele fica criativo e pode acrescentar empunhaduras e peças aleatórias, o que às vezes é um bônus.

Velocidade: no meu laptop de 4 GB, cerca de 25 segundos por atualização depois de 40 segundos de carregamento inicial. Com 24 GB foram cerca de 15 segundos. Imagens largas são maiores que quadradas, então demoram mais. Há algum atraso enquanto você edita, já que ainda está renderizando sua posição anterior.

Desenhando ao mover caixas

A parte divertida é redesenhar em tempo real. Meu lançador é feito de peças separadas, então posso apagar partes, encurtar o corpo ou mover elementos para fazer uma arma diferente, e o render acompanha. A complexidade que ele tira das formas é bem impressionante.

Duas coisas a observar:

• Ângulos extremos o confundem. Uma perspectiva forte faz com que ele acrescente elementos aleatórios, então os evito.
• Confira o enquadramento. Gire a vista e confirme que o adereço não está sendo cortado pela área de captura.

Tanques e soldados

Troquei para um blockout de tanque e um prompt novo, e obtive um tanque bem bonito. Não foi tão cyberpunk quanto eu pedira, porém: o SDXL tende a tornar as coisas realistas e carece da criatividade do Flux.

Acrescente um plano de chão. Ajuda o modelo de profundidade a encontrar o chão; sem um, o objeto pode acabar flutuando na névoa. Com ele, o render leu muito bem o horizonte. Mudar as proporções do tanque é só questão de um modificador bevel. Uma câmera de cima deu resultados mais de ficção científica, embora não seja boa concept art: pôs uma arma nas costas, ou talvez um escapamento.

Com dois soldados em blockout e um prompt novo, ele leu muito bem as formas: a placa de peito dupla na soldada, o visor, a armadura metálica nos antebraços onde eu tinha modelado, o cinto e até dedos razoáveis para o SDXL. Ele tende a fazer as duas figuras do mesmo gênero; o SDXL pode ser complicado assim.

Dê a um só assunto todos os pixels. Para um único soldado, mude para retrato: troque o redimensionamento para 1088 × 1920, redefina a área de captura e esconda o painel lateral do Blender. Com todos os pixels numa só figura, a qualidade subiu bastante.

Quando estiver satisfeito, pare o live run e pare de compartilhar. Esta é uma forma rápida e barata de explorar designs. Para versões de maior qualidade das mesmas ideias, veja o pipeline automatizado de 3D para concept art com o Flux e seu antecessor em SDXL, concept art em tempo real com Blender e Stable Diffusion. Todos os fluxos e cenas do Blender estão no meu Patreon.

Anton Tenitsky é artista 3D com mais de 15 anos em computação gráfica, que trabalhou com Nickelodeon, Gameloft, Marvel Rivals e muitos outros clientes. Mais sobre mim