De um blockout do Blender a um render final de IA com um ControlNet de profundidade, e de volta ao 3D

Um plano, uma esfera e um punhado de cubos viram um farol numa ilha entre dois penhascos. Este guia vai do começo ao fim: um blockout básico no Blender, um passe de profundidade, uma imagem fotorrealista do Stable Diffusion com um ControlNet de profundidade e depois uma projeção de câmera que põe o render de volta nas formas 3D para a câmera poder se mover. É voltado a quem é novo no Stable Diffusion.

O que gosto neste processo é que você controla a composição final. Como artista profissional, sempre tive mais ideias do que tempo para realizá-las. Esta abordagem me permite testar muitas delas com um esforço bem pequeno.

Este vídeo usou o AUTOMATIC1111. Para a mesma ideia no ComfyUI, ao vivo enquanto você move a câmera, veja concept art em tempo real com Blender e Stable Diffusion.

1. Monte o blockout da cena no Blender 4.3

A interface do Blender 4.3 difere um pouco das versões anteriores. Tudo aqui é o mais básico possível.

• Mar: Shift+A → Mesh → Plane. Mova com G, escale com S para deixá-lo bem maior.
• Ilha: uma UV Sphere, afundada no plano e definida como Shade Smooth.
• Farol: um cubo, escalado alto. Adicione algumas construções pequenas, esporádicas, não muitas.
• Penhascos: mais cubos, duplicados (Shift+D), inclinados e escalados.

Adicione uma câmera. Arraste um segundo viewport para baixo, defina-o na vista da câmera (View → Cameras → Set Active Object as Camera) e ative Lock Camera to View para navegar sem perder a câmera. Usei uma distância focal de 33 mm, um pouco ampla para uma vista de paisagem.

Depois posicione os penhascos em volta da ilha para enquadrar uma abertura, com uma pequena ilha no meio: um farol, um castelo ou uma torre de ficção científica. Passo a maior parte do tempo aqui, movendo e escalando rochas. Quero grande contraste entre formas grandes e pequenas, e o olhar atraído para o assunto principal. Esta composição é simples: o assunto vai bem no meio.

Céu: duplique o plano e gire-o na vertical com R (segure Ctrl para encaixar). Mantenha-o não muito longe; um plano muito distante pode distorcer os valores de profundidade.

Em Output Properties, reduza a resolução para 50% para o Stable Diffusion rodar mais rápido.

2. Renderize um passe de profundidade

Num passe de profundidade, pixels brancos estão perto e pixels pretos estão longe.

1. View Layer Properties → Passes, ative o Z.
2. Mude para o workspace Compositing e clique em Use Nodes.
3. Renderize uma vez. As luzes da cena não afetam o passe de profundidade, então uma luz simples basta.
4. Adicione um nó Viewer e conecte a saída Depth do render. No começo a imagem fica estourada.
5. Adicione o Map Range entre eles e arraste os valores From e To até o gradiente ficar certo. Eu só rolei os controles para a esquerda e a direita até achar o visual que queria.
6. Adicione o Invert Color; o passe não funciona do lado certo como está.
7. Render Properties → Color Management → View Transform: Raw. Dá uma faixa mais suave e mais bem definida.
8. Conecte o Invert Color ao nó Composite, renderize e salve como PNG, profundidade de cor de 16 bits, 0% de compressão. 16 bits dá uma imagem mais rica.

3. Instale o Stable Diffusion e o ControlNet

A instalação mais fácil do AUTOMATIC1111 é a versão v1.0.0-pre: baixe só o sd.webui.zip, descompacte e execute run.bat. Leva um minuto ou mais para baixar os pacotes extras; dê tempo.

• Os modelos vão na pasta de modelos do Stable Diffusion. Achei os meus no Civitai; o que mais usei é o epiCPhotoGasm, ótimo para imagens realistas. Busque outros estilos no Civitai e coloque na mesma pasta.
• Extensão ControlNet: na interface web, Extensions → Install from URL, cole https://github.com/Mikubill/sd-webui-controlnet e instale. Depois Installed → Check for updates → Apply and restart UI.
• Modelos de ControlNet: baixe do lllyasviel/ControlNet-v1-1 no Hugging Face para a pasta de modelos da extensão. Uso sobretudo o depth; também baixei o canny (detecção de linhas), mas este guia só usa o depth.

O próprio ControlNet é descrito em Adding Conditional Control to Text-to-Image Diffusion Models (Zhang et al., 2023).

4. Gere a imagem

Na aba txt2img:

• Checkpoint: epiCPhotoGasm.
• Largura × altura: 960 × 540, combinando com o render.
• Seed: 10, fixa, porque não quero variação enquanto ajusto.
• ControlNet: abra o painel, clique em Depth e marque Enable. Defina o preprocessor como depth_zoe, que é bem melhor que o depth_midas padrão. Arraste o PNG de profundidade.
• Control weight: comece em 0,7. Valores menores acrescentam variação (em 0,2 o resultado é muito diferente da sua cena) e 1,0 também quebra. Fique entre 0,5 e 0,9.

O prompt é só o que vejo: «canyon, lighthouse, small island, sea, sunny day, limestone». Troque «limestone» por um país, como Ireland, e você obtém uma paisagem completamente diferente.

Um halo em volta de uma forma costuma vir do peso do ControlNet. Reduzi-lo para 0,6 removeu parte dele, mas causou falhas. 0,75 foi perfeito; em 0,8 acrescentou uma praia na frente.

O Hires. fix dobra a resolução. Dependendo da sua VRAM, pode rodar ou falhar; geralmente leva alguns minutos, e às vezes preciso reiniciar o computador para obter uma execução limpa. A versão 2K tem qualidade bem maior, mas os detalhes mudam em relação à de 1K. Ainda não sei como mantê-la consistente; se você sabe, deixe um comentário no vídeo.

Tudo é salvo automaticamente na pasta outputs da interface web, uma galeria sem fim das suas tentativas.

O que deu errado pelo caminho

• Peso 1,0 quebrou a imagem. Em torno de 0,5 começou a se misturar.
• Depth Midas produziu algo totalmente diferente, nada a ver com a ilha.
• Um gradiente de profundidade fraco criou uma praia na frente, ou misturou objetos do plano médio com o primeiro plano. Use o view transform Raw e um bom Map Range.
• Fundos carregados: tive que mudar prompts, e mover a ilha e detalhes no Blender, para obter um fundo limpo.

Quando tive o depth_zoe e um bom peso, as boas imagens começaram. Também testei um castelo medieval sombrio, países como Jordânia e Iêmen e um castelo futurista, que deu um visual bem moderno. As rochas do primeiro plano ali são os meus cubos; ele segue muito bem o blockout.

5. Projete o render de volta na cena

1. Selecione todos os objetos exceto a câmera e as luzes, aperte Tab e A para selecionar tudo.
2. UV → Project from View, a partir da câmera.
3. Dê a um objeto um material novo e mude-o de Principled BSDF para um shader Background: não há reflexos, é uma projeção plana da textura.
4. No workspace Shading, adicione um Image Texture com o render do Stable Diffusion e conecte.
5. Selecione tudo o que está visível, depois o objeto texturizado por último, e aperte Ctrl+L → Link Materials.

No começo a projeção parece errada. Subdivida as malhas (não a esfera, que já é densa o bastante, mas os penhascos, o céu e a água): no Edit Mode, Subdivide várias vezes e depois Project from View de novo. Tive que subdividir mais uma vez antes de tudo ficar certo. Agora, quando você move a câmera, lê-se como uma cena 3D.

Corrija o que falta ao blockout

• O topo do farol: o cubo não chegava até lá. Shift+botão direito para posicionar o cursor 3D, adicione um cilindro, escale-o e afunile-o para preencher o espaço, dê a ele o material Background e Project from View de novo. Fiz o mesmo para a palmeira com uma esfera provisória. Depois dividi o topo em cilindros para remover um halo.
• O céu: no Photoshop fiz um gradiente limpo a partir do céu do render. Clicar na contagem de usuários do material (17) cria uma cópia de usuário único, e troquei ali a imagem pela nova.
• As bordas das rochas aparecem quando a câmera se move. Afastar um pouco as rochas torna o corte bem menos visível para um movimento pequeno.

6. Água e o movimento de câmera

No plano do mar, troque o material por um novo Principled BSDF com roughness 0. Ele reflete o HDRI, então ative o ray tracing em Render Properties (funciona um pouco diferente no 4.3) para obter um reflexo de espelho da cena.

Depois acrescente ondulações: Noise Texture → Bump (cor em Height, Normal na Normal do shader), com Texture Coordinate e Mapping na frente. Crie um keyframe na location do Mapping no quadro 1, mova no quadro 250 e crie outro keyframe. A primeira tentativa foi rápida demais; reduzi o movimento para 0,1 m para uma animação sutil.

Antes de renderizar:

• Aumente as amostras do viewport para 256.
• Mude o view transform de Raw de volta para Standard, conecte a Image do render (não a profundidade) ao nó Composite e volte a resolução para 100%.
• Afunde algumas rochas na água e traga a água para o primeiro plano.
• Crie um keyframe na câmera no quadro 1, mova-a um pouco mais para perto no quadro 150, crie outro keyframe e Render Animation para a sua pasta de saída. Renderizei um arquivo de vídeo para ser mais rápido.

Depois testei outros prompts, como Groenlândia e Tailândia, e substituí a textura na pasta para obter novas versões da mesma cena. A cena do Blender é gratuita no meu Gumroad.

Anton Tenitsky é artista 3D com mais de 15 anos em computação gráfica, que trabalhou com Nickelodeon, Gameloft, Marvel Rivals e muitos outros clientes. Mais sobre mim