Ein 3D-Prop in einem KI-erzeugten Raum: Blender 4.3, Stable Diffusion und Kameraprojektion

Das ist ein vollständiger Kurs in einem Leitfaden: Stable Diffusion installieren, einen Raum in Blender blocken, aus seiner Tiefe einen fotorealistischen mittelalterlichen Raum erzeugen, dieses Bild zurück auf den 3D-Raum projizieren und dann ein echtes 3D-Modell hineinsetzen, passend beleuchtet und mit Schatten, mit einer kurzen Kamerabewegung. Die Idee ist ein Showroom für ein Prop. Er muss nicht mittelalterlich sein; er kann Science-Fiction oder alles andere sein.

Alles hier ist kostenlos. Du brauchst einen einigermaßen aktuellen Gaming-Laptop (drei oder vier Jahre alt ist in Ordnung) mit einer NVIDIA-Karte.

Der Leuchtturm-Leitfaden behandelt den Teil von der Tiefe zum Render ausführlicher. Neu ist hier das Prop und wie es sich in das KI-Bild einfügt.

1. Stable Diffusion installieren (AUTOMATIC1111)

1. Installiere Python und Git für Windows über die Links in der README der Web-UI: Standardinstallationen, klicke überall auf OK.
2. Lege auf deinem Laufwerk C: einen Ordner an, klicke in die Adressleiste des Explorers, tippe cmd und drücke Enter.
3. Füge die Zeile git clone aus der README ein und drücke Enter.
4. Führe webui-user.bat aus. Der erste Start lädt viele Pakete herunter und kann 10–20 Minuten dauern.

Dunkler Modus: Rechtsklick auf webui-user.bat → Edit, füge --theme dark zu den Kommandozeilenargumenten hinzu, speichere und führe es erneut aus.

Modelle

Die Web-UI kommt eventuell mit Stable Diffusion 1.5. Damals war das neueste Stable Diffusion 3.5 auf Hugging Face (du brauchst ein Konto): Medium ist mit etwa 5 GB am besten für Verbraucher-Hardware; Large und Large Turbo sind jeweils etwa 16 GB groß.

Ich habe epiCPhotoGasm von Civitai genutzt. Lege Modelldateien in models/Stable-diffusion und klicke auf die Aktualisieren-Schaltfläche neben der Modellliste. Bevorzuge .safetensors-Dateien: Anders als .ckpt können sie keinen ausführbaren Code enthalten. Das Wechseln von Modellen dauert ein paar Sekunden, bei einer großen Datei etwa 40.

Bilder werden automatisch gespeichert; um den Ordner zu ändern, füge in den Settings einen neuen Pfad ein und klicke auf Reload UI.

ControlNet

Extensions → Available → Load from, suche nach sd-webui-controlnet und klicke auf Install. Lade das Depth-Modell von lllyasviel/ControlNet-v1-1 in den Modellordner der Erweiterung herunter.

2. Den Raum in Blender 4.3 blocken

Blender 4.3 ist etwas anders als frühere Versionen.

• Hülle: Umschalt+A → Cube, in realen Proportionen skaliert (etwa 2 × 4 m). Drücke im Edit Mode 3 für die Flächenauswahl, lösche die oberen Flächen und verschiebe es, um Tiefe hinzuzufügen.
• Gewölbte Decke: Wähle Kanten aus, Strg+R für Edge Loops (scrolle für mehr), nutze dann die proportionale Bearbeitung (G, scrollen, Z), um die Mitte zu einem Bogen nach oben zu drücken. Wähle im X-Ray-Modus die unteren Vertices aus und drücke G, Z, 0, um den Boden zu glätten.
• Dekoration: ein paar Würfel für Balken und Säulen (G zum Bewegen, S zum Skalieren pro Achse, Umschalt+D zum Duplizieren). Halte es dezent: Gib der KI Raum, selbst zu denken.
• Fase alles ab. Wähle die Objekte aus, Tab, Strg+B, scrolle für die Segmente. Wenn die Fase ungleichmäßig ist, wurden die Objekte auf einer Achse skaliert: rückgängig machen, Strg+A → Apply Scale, dann abfasen. Stable Diffusion bevorzugt weichere Formen, und sie lassen später Spielraum für die Projektion.

Kamera

Setze die Rotationswerte der Kamera auf null, drehe sie mit Strg, damit sie einrastet, dann View → Cameras → Set Active Object as Camera und View → Lock Camera to View. Drücke Home, um den Bildschirm mit der Kameraansicht zu füllen.

Nutze eine Weitwinkellinse: 24 mm, oder sogar 18, so wie Immobilienfotografen Räume größer wirken lassen.

3. Einen Tiefenpass rendern

1. Output Properties: Auflösung 50 %. Eine niedrigere Auflösung rendert in Stable Diffusion schneller.
2. View Layer → Passes: aktiviere Z.
3. Tab Compositing → Use Nodes, rendere, füge einen Viewer hinzu und verbinde Depth. Zuerst ist alles weiß.
4. Füge Map Range ein und ziehe seine Werte, bis genug Information für Stable Diffusion vorhanden ist.
5. Color Management → View Transform: Raw. Es liefert einen besseren Verlauf. Wenn Stable Diffusion zu viel Dunkelheit als fern liest, probiere die Kontrasteinstellungen von Look; selbst Details, die du kaum siehst, kann es aufgreifen.
6. Verbinde Map Range mit dem Node Composite, rendere und speichere als PNG, 16 Bit, 0 % Kompression.

Profi-Tipp: Zeichne die Tiefenkarte weich. Wende in Photoshop oder kostenlos in Photopea (ohne Login) einen Gaußschen Weichzeichner von 2–2,5 px an und exportiere als PNG. Es fügt Suggestivität hinzu und hilft wirklich. Später habe ich sie mit 6–7 px für noch bessere Ergebnisse weichgezeichnet.

4. Den Raum erzeugen

In txt2img:

• Ziehe die Tiefen-PNG hinein, setze die Größe auf 960 × 540 (sonst rendert es ein Quadrat).
• ControlNet: Setze den Haken bei Enable, Control Type Depth, Preprocessor depth_zoe. Andere Preprocessors lieferten bizarre Ergebnisse.
• Control Weight 0,7, was mehr Kreativität gibt. Bei 1 hält es sich an das, was es sieht, und kann hässlich aussehen.
• Seed 10, fest, damit derselbe Prompt dasselbe Bild liefert.

„Medieval room with window in the back“ ergab ein Ergebnis, das mir nicht gefiel. Der Prompt, der funktionierte, beschrieb einen Kerkerraum mit einem einfachen gotischen Fenster, alten, zerbrochenen Wänden und Boden, einer Holzdecke mit Holzbalken und einer Linsenlänge:

• „simple“ Fenster, sonst machte es vier oder fünf.
• „wooden beams“, oder es ließ die Holzdecke manchmal aus.
• Eine Linsenlänge ließ es realistischer wirken. Ich weiß nicht, warum es hilft, aber es hilft.

Achte auf den Preprocessor. Einmal wechselte er von selbst zu depth_midas und lieferte merkwürdige Ergebnisse. Wenn Dinge seltsam und unkontrollierbar werden, prüfe das zuerst.

Speichere die Einstellungen mit dem Bild: Aktiviere in Settings → Saving images das Schreiben der Generierungsinformationen und nutze dann den Tab PNG Info, um Prompt und Größe eines gespeicherten Bildes zurück an txt2img zu senden. ControlNet wird nicht wiederhergestellt; setze es erneut von Hand.

Upscaling

Hires. fix verdoppelt die Auflösung. Die Upscaler Latent und SwinIR 4x liefern unterschiedliche Ergebnisse, und beide veränderten viele Details; das Senken der Denoising-Stärke von 0,7 auf 0,5 behielt mehr. Es braucht viel mehr VRAM (ich musste den Computer vorher neu starten) und dauert 5–10 Minuten statt Sekunden.

Krea hat einen kostenlosen Tarif, der eine Handvoll Bilder hochskaliert. Bei 1× hat es mich nicht überzeugt, und mit der Methode „clarity“ wurden manche Teile besser und andere schlechter und verloren die Wärme. Es ist nützlich, wenn dein Computer nicht hochskalieren kann; bei einem Render von 1000 px auf 2K leistete es gute Arbeit.

Was 200–300 Generierungen mich gelehrt haben

• Setze ein Fenster in den Prompt. Ohne eines wirkte die Beleuchtung falsch; mit einem sehr natürlich.
• „Mossy floor“ liefert Moos; eine Burg zu erwähnen, setzte eine Burg in den Hintergrund.
• Ein Rahmen tauchte immer wieder auf; „frame“ im negativen Prompt entfernte ihn schließlich.
• Berge im Prompt setzten Berge vor das Fenster. „White sky“ malte die Wände weiß.
• Das ControlNet-Gewicht zwischen 0,5 und 0,8 veränderte die Ergebnisse am stärksten. Auch die Tiefenkarte um 5–15 px weichzuzeichnen oder monochromes Rauschen hinzuzufügen, hilft: Uneinheitliche Kanten geben ihm Raum. Das würde in einer Animation flackern, aber hier wird nur ein Bild gebraucht, und die Animation kommt aus Blender.

Ich hätte Varianten in Photoshop kombinieren können, und Retusche ist immer eine Option, aber hier wollte ich einen direkten Export zeigen.

5. Das Bild auf den Raum projizieren

1. Erstelle ein Material, wähle alle Raumobjekte aus, mit dem texturierten als letztem, und Strg+L → Link Materials.
2. Ändere die Oberfläche auf einen Background-Shader: keine Schattierung, keine Spekularität, keine Schatten. Die Beleuchtung steckt bereits im KI-Bild.
3. Füge im Tab Shading eine Image Texture mit deinem Render hinzu, in die Farbe des Background.
4. Ändere die View Transform von Raw auf AgX, sonst sieht das Bild sehr dunkel aus.
5. Unterteile die Meshes mehrmals, setze die Ansicht auf die Kamera, wähle alles aus und UV → Project from View.

Das hintere Fenster war wackelig, weil dahinter nicht genug Geometrie vorhanden war. Ich löschte die rückseitigen Flächen und nutzte stattdessen eine gestreckte Kiste, dann projizierte ich erneut.

6. Ein echtes 3D-Prop hinzufügen

Ich nutze Sketchfab, um Modelle zu finden: Die 3D-Vorschau ist sehr gut, und mehrere Museen laden Scans hoch, die frei nutzbar sind. Prüfe die Lizenz unten auf jeder Seite. Ich habe eine Statue des heiligen Andreas in der Gemeinfreiheit gefunden. Zum Herunterladen brauchst du ein Konto.

1. Lade als OBJ herunter (enthält die Texturen), entpacke und File → Import → OBJ. Bewege, drehe und skaliere es an die richtige Stelle.
2. Füge im Tab Shading drei Image Texture-Nodes hinzu: color → Base Color, roughness (non-colour) → Roughness, normal (non-colour) → ein Normal Map-Node → Normal.
3. Gleiche die Farbe an: Füge nach der Farbtextur Hue/Saturation hinzu. Verschiebe den Farbton leicht in Richtung des warmen, rosigen Lichts des Raumes und senke Sättigung und Wert. Es dauert eine Weile, die Kombination zu finden, die es dazugehören lässt.

7. Passend zum Raum beleuchten

Füge mit Eevee Lichter hinzu, die das KI-Bild nachahmen:

• Key: ein Licht dort, wo das Fenster ist. Ich habe das Punktlicht gegen ein Flächenlicht getauscht, für ein breiteres Glanzlicht; es erzeugt auch ein Rim-Licht von hinten.
• Fill: ein zweites, viel matteres Licht von vorn, um das Streulicht des Raumes vorzutäuschen.
• Gesicht: das Standard-Punktlicht der Szene, aufs Gesicht verschoben (setze den 3D-Cursor mit Umschalt+Rechtsklick, dann Umschalt+S → Selection to Cursor). Meines endete bei etwa 11 W.
• Farbe: Mache die Lichter leicht gelb-rosa wie den Raum; die Farbauswahl kann den Hintergrund abtasten.

8. Ein Shadow Catcher

Ohne Schatten wirkt die Statue falsch. Füge eine Ebene darunter hinzu und gib ihr dieses Material:

1. Transparent BSDF und Diffuse BSDF in einen Mix Shader (Faktor 0 = transparent, 1 = diffus).
2. Ein zweites Diffuse BSDF (weiß) → Shader to RGB → der Mix-Faktor. Vertausche die Mix-Eingänge, wenn der Schatten invertiert herauskommt.
3. Ändere in den Materialeinstellungen die Render-Methode von Dithered auf Blended.

Um die Kante der Ebene zu verbergen, drehe sie leicht auf X und bewege sie, bis sie auf die Geometrie trifft. Auch das Bewegen des Hauptlichts verändert, wie sichtbar der Verlauf ist.

Light Linking (neu in Blender 4.3) verhindert, dass manche Lichter den Schatten aufhellen: Klicke unter Object → Shading → Light Linking des Lichts auf New, ziehe die Ebene des Shadow Catchers hinein und entferne ihren Haken. Ich habe es für das Key-Licht und das Gesichtslicht gemacht, und der Schatten wurde viel dunkler. Es ist ein Trick, aber solches Verstecken ist in der Produktion sehr verbreitet.

Auch die Farbe der World verändert die Schatten. Reines Schwarz entfernt das graue Umgebungslicht; Weiß hellt alles auf. Ich habe eine dunklere, leicht bräunliche Farbe genutzt, passend zum Raum.

9. Bloom und ein weicherer Look

Blender 4.3 hat den Bloom geändert. Füge im Tab Compositing einen Glare-Node hinzu, setze ihn auf Bloom und verbinde das Render darüber mit dem Viewer und dem Composite. Um es im Viewport in der Vorschau zu sehen, stelle den Compositor im Shading-Popover auf Always. Senke den Schwellenwert nach Geschmack. Bloom wirkt auch auf den KI-Hintergrund, was Dimension und Immersion hinzufügt.

Zurück im Material der Statue ergibt ein Node Brightness/Contrast mit etwas weniger Kontrast den weicheren, leicht verwaschenen Look des Hintergrunds. Drücke M am Node, um ihn stummzuschalten und zu vergleichen.

10. Die Kamera animieren

1. Teile die Ansicht, drücke Numpad 0 und binde die Kamera an die Ansicht.
2. Schalte Auto Keying ein, bewege die Kamera, und sie setzt selbst Keyframes. Gehe zu Frame 60 und bewege dich nah an das Gesicht der Statue heran. Die Rotation wurde beim ersten Mal nicht mit einem Keyframe versehen, also Rechtsklick → Insert Keyframe auch für die Rotation.
3. Setze Keyframes auf die Brennweite für einen Zoom auf eine Porträtlinse.
4. Tiefenschärfe: Aktiviere sie in der Kamera, fokussiere auf das Objekt oder setze die Fokusdistanz (0,1 m in der Nähe, etwa 2 m am Anfang) und setze Keyframes. Senke die Blendenzahl für mehr Unschärfe.
5. Ich habe die Bewegung bis Frame 250 gestreckt, um sie zu verlangsamen, das Glare etwas reduziert und das Gesichtslicht gesenkt.

Aus Geschwindigkeitsgründen habe ich direkt in ein MPEG-Video statt in eine PNG-Sequenz gerendert. Speichere vor dem Rendern.

Ich habe auf dieselbe Weise weitere Versionen gemacht: einen Raum im ägyptischen Stil mit einem anderen Sketchfab-Prop und einen Raum aus einer anderen Epoche mit einem einfachen Stuhl in der Mitte.

Anton Tenitsky ist 3D-Artist mit mehr als 15 Jahren Erfahrung in der Computergrafik, tätig für Nickelodeon, Gameloft, Marvel Rivals und viele weitere Kunden. Mehr über mich