Bewege die Kamera, bewege ein Objekt, und in Sekunden erscheint ein neues Konzeptbild. Dieses Setup erfasst deinen Blender-Viewport und schickt ihn live durch Stable Diffusion in ComfyUI. Kontrollierbare KI wie diese nutze ich bereits in Kundenprojekten.
Für die höchste Qualität ist Flux die bessere Option. Es ist nicht in Echtzeit, liefert aber beeindruckende Ergebnisse. In diesem Leitfaden geht es um Geschwindigkeit: ein einfaches, schnelles Setup, das du von Grund auf bauen kannst.
Kurz gefasst
- Aufnahme: Mixlabs Screen Share-Node erfasst einen Teil des Blender-Fensters.
- Tiefe: Depth Anything V2 plus ein Depth-ControlNet, das zu deinem Modell passt (SD 1.5 oder SDXL).
- Modelle: SD 1.5 für rohe Geschwindigkeit; RealVisXL Lightning für deutlich bessere Bilder bei 6 Schritten, CFG 1,5.
- Blender-Tipps: 80-mm-Linse, keine Overlays, quadratischer Aufnahmebereich.
- Geschwindigkeit: etwa 7 Sekunden pro SDXL-Lightning-Bild auf einem PC mit 24 GB; langsamer auf einem Laptop mit 4 GB.
Den Workflow bauen
1. Mit dem Standard-Template beginnen
Wenn ComfyUI nicht mit dem Standard-Template für die Bilderzeugung öffnet, findest du es unter Workflow → Browse Templates. Färbe den positiven Prompt grün und den negativen rot (Rechtsklick → Color), damit du sie unterscheiden kannst.
2. Das leere Latent durch die Bildschirmaufnahme ersetzen
Der Screen Share-Node stammt aus dem Paket Mixlab; installiere es über den Custom Nodes Manager. Sein Layout zeichnet immer ein wenig außerhalb seiner Box. Es ist eine JavaScript-Eigenart, die ich nicht beheben konnte, und sie spielt keine Rolle.
Verbinde sein aktuelles Frame mit Image Resize aus Essentials, einem Paket mit vielen nützlichen Nodes. Das Skalieren ist wichtig, weil die Modelle mit festen Größen trainiert wurden: 512 px für Stable Diffusion 1.5, 1024 px für SDXL und Flux. Sie anzupassen liefert bessere Ergebnisse mit weniger Glitches.
3. Kodieren, Tiefe lesen, ControlNet anwenden
- VAE Encode komprimiert das Bild in den latenten Raum, was die Verarbeitung deutlich beschleunigt. Verbinde das VAE des Checkpoints und sende das Latent an den KSampler.
- Depth Anything V2 liest die Tiefe der Aufnahme. Hole das Modell aus dem Model Manager (ich nutze das größte), lade den Browser neu und füge einen Vorschau-Node hinzu, um die Tiefenkarte beim Laufen zu prüfen.
- Apply ControlNet nimmt das Tiefenbild, beide Prompts und das VAE und speist den KSampler.
- Load ControlNet Model: Jede Modellfamilie hat ihre eigenen ControlNets. Hole für SD 1.5 das Modell ControlNet v1.1 depth aus dem Model Manager.
Die Blender-Szene einrichten
Ich habe einen Charakter von Mixamo posiert, einer kostenlosen Bibliothek mit Charakteren und Animationen: ein hockender Schwertblock aus den Great Sword-Animationen, als FBX in Blender importiert, mit ausgeblendetem Armature. Mixamos Charaktere dürfen nicht kommerziell in einem Paket verwendet werden, das ich verkaufe, daher habe ich dafür eigene gebaut; für deine eigenen Renders ist Mixamo ein einfacher Einstieg. Der Charakter braucht keine gute Anatomie. Depth-ControlNets kommen mit sehr groben Formen zurecht.
Der Rest der Szene besteht aus Würfeln, Kugeln und Zylindern: ein Zylinder für das Lichtschwert und eine Stadt aus vielfach duplizierten und gestreckten Kisten. Platziere die Kamera, füge ein Licht hinzu und nutze Eevee mit Raytracing.
Zwei Anpassungen vor der Aufnahme:
- Setze die Brennweite auf 80 mm. Weitwinkelverzerrung lässt die Anatomie falsch aussehen, und KI-Modelle mögen das nicht.
- Blende Overlays und Panels aus (drücke N, um das Seitenpanel auszublenden). Wireframes oder Overlays in der Aufnahme können als Teil des Bildes gelesen werden.
Live gehen
Lege Blender auf eine Bildschirmhälfte und ComfyUI auf die andere (Win+Links / Win+Rechts) oder nutze zwei Monitore. Klicke im Screen-Share-Node auf Share Screen, wähle das Blender-Fenster, dann Set Area und ziehe einen Rahmen auf. Ziele auf ein Quadrat, passend zum Modell; ich habe herausgezoomt und es neu gesetzt, um näher heranzukommen.
Klicke auf Live Run, dann auf Run. (Mein erster Durchlauf hakte, weil ich vergessen hatte, einen Checkpoint und ein ControlNet-Modell auszuwählen; wähle sie aus den Listen, nicht „null“.)
SD 1.5: schnell, aber grob
Mit dem Prompt „a woman holding a red lightsaber in a cyberpunk city at night during rain“ war das erste Ergebnis mit reinem Stable Diffusion 1.5 ziemlich hässlich. Zwei Korrekturen halfen:
- Senke die ControlNet-Stärke auf etwa 0,8 und verringere ihr End Percent, damit das ControlNet vor dem Ende aufhört zu führen und das Modell mehr Freiheit zum Fertigstellen hat.
- Nutze ein feinabgestimmtes Modell. Der Wechsel zu epiCPhotoGasm, einem verfeinerten SD-1.5-Modell, ergab ein besseres Ergebnis.
Stelle die Warteschlange auf Run (Instant), und es rendert weiter, während du die Kamera bewegst. Es gibt eine kleine Verzögerung, da es noch die letzte Aufnahme verarbeitet. Reines SD 1.5 sieht viel schlechter aus, als ein Vorschaubild vermuten ließe, aber es ist unglaublich schnell und gut zum Testen auf einem schwächeren System.
SDXL Lightning: viel besser
Beende zuerst die Freigabe; der Node ist ressourcenhungrig. Auch die Refresh Rate auf 50 zu senken hilft.
Dann das Upgrade:
- Checkpoint: RealVisXL in seiner Lightning-Version, von Civitai. Lightning-Modelle laufen mit weit weniger Schritten.
- Auflösung: 1024 × 1024, die Trainingsgröße von SDXL. Bei 512 bekommst du ein minderwertiges Bild. Ändere auch die Auflösung von Depth Anything.
- ControlNet: ein SDXL-Depth-ControlNet aus dem Model Manager.
- KSampler: 6 Schritte, CFG 1,5.
Es ist nicht so schnell wie SD 1.5. Auf meinem Laptop mit 4 GB ist es langsamer; auf einem PC mit 24 GB brauchte es etwa 7 Sekunden. Aber das Bild ist viel, viel besser. Bewege die Kamera oder greife eine Kiste und platziere sie woanders, und führe erneut aus.
Die Szene per Prompt ändern
Mit demselben Blockout verwandelte „medieval night in front of a castle, gloomy day“ es in einen Ritter. Moos, Felsen und Gras zum Prompt hinzuzufügen und die ControlNet-Stärke zu senken, ergab eine natürlichere Szene. Das erste Gesicht war komisch; der nächste Durchlauf bedeckte es mit einem Helm, und die Burg sah ziemlich schön aus.
Bessere Geometrie liefert bessere Ergebnisse. Tausche die Kisten gegen klumpige Boden-Meshes oder echte Burgmodelle in Blender, und die Renders werden viel besser. Dennoch ist es beeindruckend, was ein extrem spartanisches Setup leisten kann.
Nächste Schritte
Für eine spätere Version dieses Setups, die Props (Waffen, Panzer und Soldaten) entwirft, siehe Science-Fiction-Waffen live aus Blender. Um einen ganzen Ordner mit Screenshots in höherer Qualität mit Flux im Batch zu rendern, siehe die automatisierte 3D-zu-Concept-Art-Pipeline. Die Workflows liegen auf meinem Patreon.
Die Videoversion ansehen (15:16)
Alles oben steht auch im Video, falls du lieber am Bildschirm mitmachst. Das Video ist auf Englisch.
Häufige Fragen
Welches Modell ist am besten für KI-Rendering in Echtzeit aus Blender?
Reines Stable Diffusion 1.5 ist am schnellsten, sieht aber grob aus. Ein feinabgestimmtes SD 1.5 wie epiCPhotoGasm ist besser. SDXL Lightning (RealVisXL) sieht viel besser aus und ist mit 6 Schritten und CFG 1,5 immer noch schnell.
Warum eine 80-mm-Linse in Blender nutzen?
Weitwinkellinsen verzerren die Anatomie, und KI-Modelle kommen mit verzerrten Körpern nicht gut zurecht. Eine längere Brennweite hält die Proportionen natürlich.
Sollten Wireframes oder Overlays im aufgenommenen Viewport sichtbar sein?
Nein. Das Modell könnte sie als Teil des Bildes interpretieren. Blende Overlays und Seitenpanels vor der Aufnahme aus.
Anton Tenitsky ist 3D-Artist mit mehr als 15 Jahren Erfahrung in der Computergrafik, tätig für Nickelodeon, Gameloft, Marvel Rivals und viele weitere Kunden. Mehr über mich