Live-KI-Concept-Art aus Blender: Science-Fiction-Waffen entwerfen mit Bildschirmfreigabe, SDXL und ComfyUI

Skaliere die Kiste, bekomme eine größere Waffe. Mit diesem Setup kannst du ein Prop direkt in Blender aus Würfeln und Zylindern entwerfen, während ComfyUI den Viewport live in fertige Concept Art verwandelt: Bewege ein Teil, und das Render aktualisiert sich. Es funktioniert mit SDXL oder Flux. Flux ist langsamer, aber seine Ausgabe ist schärfer und von höherer Qualität.

Es ist quelloffen, ohne Abos und ohne Zensur. Hier baue ich den gesamten Workflow von Grund auf.

Den Workflow bauen

1. Mit dem Standard-Template beginnen

Öffne ComfyUI, gehe zu Workflow → Browse Templates und wähle das einfache Template zur Bilderzeugung. Ignoriere die Warnung über ein fehlendes Modell, wenn du es bereits hast.

2. Ein schnelles Modell nutzen

Für die Live-Arbeit zählt Geschwindigkeit. Ich nutze Juggernaut XL Lightning, ein sehr schnelles SDXL-Modell, das nur 4–6 Schritte bei CFG 1–2 braucht. Stelle den KSampler so ein:

• Seed: increment, damit Renders 1, 2, 3 nummeriert werden statt mit riesigen Zufallszahlen.
• Schritte: 6.
• CFG: 1,5.
• Sampler / Scheduler: euler / normal.
• Denoise: 1,0. Das Denoise mischt das Originalbild in das Ergebnis. Senkst du es hier, wird aus deiner grauen Blender-Aufnahme nur ein grauerer Render.

3. Die Bildschirmaufnahme hinzufügen

Suche nach Screen Share aus den Mixlab-Nodes (installiere das Paket über den Custom Nodes Manager). Der Manager warnt eventuell vor Konflikten mit anderen Paketen, weil sich viele Node-Namen überschneiden; das ist meist kein Problem, es sei denn, dein Workflow ist riesig.

Es ist ein JavaScript-Node und etwas fehlerhaft: Seine Oberfläche zeichnet außerhalb der Grenzen des Nodes, und wenn du zwischen Workflows wechselst, kann er in Regenbogenfarben einfrieren. Den Browser neu zu laden (Strg+R) behebt das; das lädt die Seite neu, nicht ComfyUI.

4. Skalieren und kodieren

• Image Resize (aus Essentials) bringt das aufgenommene Bild auf 1920 × 1088. Diese Zahlen nutze ich auch mit Flux, und sie funktionieren gut mit SDXL. Diesmal wollte ich breite Bilder, nicht nur Quadrate.
• VAE Encode verwandelt die Pixel in den latenten Raum. Verbinde das VAE aus dem Checkpoint und sende das Latent an den KSampler. Lösche den Node Empty Latent Image.

5. Tiefe und ControlNet

• Depth Anything: Hole das Modell aus dem Model Manager (das größte sollte die beste Qualität liefern), lade den Browser neu und setze die Auflösung auf die kurze Seite, 1088. Das funktioniert weiterhin, wenn du auf Hochformat umschaltest.
• Ein Vorschau-Node, um die Tiefenkarte zu sehen.
• Apply ControlNet, der Node, der alle Eingänge beherrscht: Das Tiefenbild, das VAE und beide Prompts laufen durch ihn zum KSampler.
• Load ControlNet Model mit einem SDXL-Depth-ControlNet (ebenfalls im Model Manager).

Speichere den Workflow an dieser Stelle. Benenne die Prompt-Nodes „Positive Prompt“ und „Negative Prompt“ um, damit alles lesbar bleibt.

Live gehen

Lege Blender und den Browser nebeneinander, auf zwei Bildschirmen oder auf einem geteilten Bildschirm (Win+Links / Win+Rechts). Isoliere in Blender das Prop und drücke N, um Panels auszublenden, die du nicht brauchst.

Schreibe den Prompt (ich hatte Hilfe von ChatGPT), klicke dann auf Share Screen, wähle das Blender-Fenster und lege den Bereich fest: Ziehe einen Rahmen um den Teil des Viewports, der aufgenommen werden soll. Das aufgenommene Bild ist klein, und das ist in Ordnung: Das Modell braucht nur eine Annäherung an die Form.

Klicke auf Live Run. Jede Änderung in Blender löst jetzt ein neues Render aus.

Erste Korrektur: die ControlNet-Stärke

Das erste Ergebnis sah gestreckt aus: Die Proportionen des Aufnahmebereichs passten nicht zur Leinwand von 1920 × 1088. Passe den Bereich an, bis er ungefähr die richtige Form hat.

Die größere Korrektur: Die ControlNet-Stärke lag bei 1,0, daher folgte das Modell der Tiefenkarte zu starr. Bei 0,55 sah es deutlich besser aus. Bei niedriger Stärke wird es kreativ und kann zufällige Griffe und Teile hinzufügen, was manchmal ein Bonus ist.

Geschwindigkeit: Auf meinem Laptop mit 4 GB etwa 25 Sekunden pro Aktualisierung nach 40 Sekunden anfänglichem Laden. Mit 24 GB waren es etwa 15 Sekunden. Breite Bilder sind größer als Quadrate und brauchen daher länger. Beim Bearbeiten gibt es etwas Verzögerung, da es noch deine vorherige Position rendert.

Entwerfen durch Verschieben von Kisten

Der Spaß liegt im Neu-Entwerfen in Echtzeit. Mein Werfer ist aus separaten Teilen gebaut, sodass ich Teile löschen, den Körper kürzen oder Elemente verschieben kann, um eine andere Waffe zu machen, und das Render folgt. Die Komplexität, die es aus den Formen herausholt, ist ziemlich erstaunlich.

Zwei Dinge sind zu beachten:

• Extreme Winkel verwirren es. Starke Perspektive lässt es zufällige Elemente hinzufügen, daher vermeide ich sie.
• Prüfe den Bildausschnitt. Drehe die Ansicht und stelle sicher, dass das Prop nicht vom Aufnahmebereich abgeschnitten wird.

Panzer und Soldaten

Ich wechselte zu einem Panzer-Blockout und einem neuen Prompt und bekam einen ziemlich schön aussehenden Panzer. Er war aber nicht so cyberpunkig, wie ich es verlangt hatte: SDXL neigt dazu, Dinge realistisch zu machen, und es fehlt ihm die Kreativität von Flux.

Füge eine Bodenebene hinzu. Sie hilft dem Tiefenmodell, den Boden zu finden; ohne sie kann das Objekt am Ende im Nebel schweben. Mit ihr las das Render den Horizont wirklich gut. Die Proportionen des Panzers zu ändern ist nur einen Bevel-Modifier entfernt. Eine Kamera von oben lieferte eher Science-Fiction-Ergebnisse, wenn auch keine großartige Concept Art: Sie setzte eine Waffe auf den Rücken, oder vielleicht ein Auspuffrohr.

Bei zwei geblockten Soldaten und einem neuen Prompt las es die Formen wirklich gut: die doppelreihige Platte bei der Soldatin, das Visier, Metallrüstung an den Unterarmen, wo ich sie modelliert hatte, der Gürtel und sogar für SDXL vernünftige Finger. Es neigt dazu, beide Figuren gleichen Geschlechts zu machen; SDXL kann da knifflig sein.

Gib einem Motiv alle Pixel. Für einen einzelnen Soldaten schalte auf Hochformat um: Tausche die Skalierung auf 1088 × 1920, setze den Aufnahmebereich zurück und blende Blenders Seitenpanel aus. Mit allen Pixeln auf einer Figur stieg die Qualität deutlich.

Wenn du zufrieden bist, stoppe den Live-Lauf und beende die Freigabe. Das ist ein schneller, günstiger Weg, Entwürfe zu erkunden. Für Versionen derselben Ideen in höherer Qualität siehe die automatisierte 3D-zu-Concept-Art-Pipeline mit Flux und ihren früheren SDXL-Vorläufer, Concept Art in Echtzeit mit Blender und Stable Diffusion. Alle Workflows und Blender-Szenen liegen auf meinem Patreon.

Anton Tenitsky ist 3D-Artist mit mehr als 15 Jahren Erfahrung in der Computergrafik, tätig für Nickelodeon, Gameloft, Marvel Rivals und viele weitere Kunden. Mehr über mich