Eine grobe Skizze genügt der KI, um Tiefe und Pose zu lesen. Dieser Workflow verwandelt eine Skizze, auf Papier mit Stift, in Photoshop oder in einem Werkzeug wie Alchemy, mit Flux in ComfyUI in fertige Concept Art.
Flux ist schwer: Du brauchst mindestens 12 GB VRAM. Wenn du einen normalen Laptop mit 3–4 GB hast, ist die SDXL-Version dieses Workflows etwas für dich. Flux liefert bessere Ergebnisse; SDXL ist schneller.
Kurz gefasst
- Tiefe: Depth Anything V2 liest Tiefe selbst aus einer vagen Skizze.
- ControlNet: Flux Depth ControlNet v3 von XLabs.
- Auflösung: quadratisch und immer ein Vielfaches von 8, z. B. 1024 × 1024.
- Sampler: Seed auf increment, 35 Schritte.
- Keine GPU? Führe es in der Cloud aus.
Custom Nodes
Alle aus dem ComfyUI Manager: comfyui_controlnet_aux, rgthree, x-flux-comfyui, ComfyUI Essentials und ComfyUI-GGUF. Jeder Node im Workflow zeigt, aus welchem Paket er stammt, du kannst ihn also immer nachschlagen.
1. Die Skizze laden und skalieren
Load Image nimmt deine Skizze auf. Image Resize (aus ComfyUI Essentials) bringt sie auf eine von ein paar guten Auflösungen. Ich liste sie in einer Notiz im Workflow auf.
Quadratisch ist das nativste Format für SDXL und Flux und liefert nach meiner Erfahrung die beste Leistung. Hoch- und Querformat sind auch in Ordnung; ich nutze sie oft.
Nutze Vielfache von 8. Das Bild wird auf dem Weg in den latenten Raum, in dem die Diffusion stattfindet, um das Achtfache komprimiert. Eine mit 1753 × 1753 gescannte Skizze ist nicht durch 8 teilbar, und ungerade Größen wie diese funktionieren manchmal und führen manchmal zu Glitches. Ich habe viele Auflösungen getestet; bleib bei den gängigen.
2. Die Tiefe lesen
Depth Anything V2 (aus comfyui_controlnet_aux) liest die Tiefe der Skizze. Es ist bemerkenswert, was es aus ein paar Stiftstrichen herausholt. Seine eigene Auflösungseinstellung skaliert die kurze Seite auf 1024, was sich mit der Skalierung überschneidet, aber ich behalte die Skalierung trotzdem: Manchmal bringe ich einen Tiefen-Render direkt aus Blender herein und umgehe Depth Anything (Strg+B).
Lade das Modell über den Model Manager herunter (ich nehme das größte, das am besten abschneiden sollte), dann lade einfach den Browser neu; ein Neustart ist nicht nötig. Es ist unabhängig von Flux oder SDXL, was eine der schönen Seiten von ComfyUI ist: Du kannst Modelle aus verschiedenen Quellen kombinieren.
Tipp: Die Tiefenkarte ist nur so klar wie deine Skizze. Skizziere die Hände sauber und fülle die Silhouette mit einem vollen Ton, und das Modell hat viel mehr, womit es arbeiten kann.
3. Das Flux-ControlNet anwenden
Das Tiefenbild geht in Apply Flux ControlNet (aus x-flux-comfyui). Tiefe zu lesen ist eine eigene Fähigkeit und braucht daher ein eigenes Modell, und eines zu trainieren kostet zehn- oder hunderttausende Dollar. Hier ist es das Flux Depth ControlNet v3 von XLabs, zu finden im Model Manager.
4. Modell und Leinwand
Load Diffusion Model lädt Flux dev. Das Empty Latent Image ist die Leinwand, auf der das Bild erzeugt wird, seine Größe muss also zu deiner Skalierung passen: hier 1024 × 1024.
Lege die Auflösung einmal fest. Statt 1024 an mehreren Stellen einzutippen, füge einen Integer-Node (aus dem Paket ComfyUI Easy Use) hinzu, tippe dort die Größe ein und verbinde ihn mit jeder Breite und Höhe. Um auf 1536 zu gehen, änderst du eine Zahl.
5. Prompt
Der DualCLIPLoader lädt Flux’ zwei Text-Encoder: CLIP-L und T5 XXL, beide im Model Manager. Es gibt viele Versionen; ich habe keinen großen Unterschied zwischen ihnen bemerkt und bleibe bei den normalen fp8-Safetensors.
Ich habe den Node CLIP Text Encode in „Positive Prompt“ umbenannt, damit der Graph klar lesbar ist. Bitte ChatGPT oder Gemini, beim Schreiben des Prompts zu helfen. Er läuft durch Flux Guidance ins Conditioning des Samplers. Der negative Prompt ist ebenfalls verbunden, wird in Flux aber nicht wie in SDXL vom positiven abgezogen, hat also sehr wenig Wirkung.
6. Sampler-Einstellungen
Der XLabs Sampler:
- Seed: increment. Der zufällige Standard-Seed liefert riesige Zahlen. Bei increment ist jedes Bild eines höher als das letzte (1, 2, 3…), was das Nachverfolgen und Teilen erleichtert: Nenne jemandem Seed und Einstellungen, und er kann dein Bild reproduzieren.
- Schritte: 35. Alles von 20 bis 50 funktioniert; über 50 gibt es abnehmende Erträge, langsamer ohne besseres Bild. 35 gibt mir ein schönes Bild ohne zu lange Wartezeit, da Flux anspruchsvoll ist.
- Alles andere: lass es. Diese Einstellungen können dieses Ergebnis nicht verbessern, aber verschlechtern.
7. Dekodieren und speichern
VAE Decode wandelt das Ergebnis mit dem Flux-VAE (ein kleiner Download aus dem Model Manager) aus dem latenten Raum in Pixel um. Save Image schreibt es mit dem von dir gesetzten Präfix.
Hände sind oft die Schwachstelle; ich korrigiere sie mit Inpainting, behandelt in KI-Hände korrigieren. Um viele Skizzen oder Fotos auf einmal auszuführen, siehe Concept Art im Batch aus Fotos.
Keine GPU? Führe es in der Cloud aus
Dieser Workflow liegt bei RunComfy, fertig eingerichtet, mit kostenlosen Testminuten: keine Installation, einfach klicken und ausprobieren. Heutzutage führe ich meine ComfyUI-Arbeit stattdessen auf RunPod aus, das dir stundenweise eine ganze Maschine gibt; meine Einführung in RunPod zeigt die Einrichtung.
Der RunComfy-Link ist ein Empfehlungslink, ebenso mein RunPod-Empfehlungslink: Neue RunPod-Konten, die sich mit Google anmelden, erhalten nach ihren ersten 10 $ ein Guthaben von 5–500 $, und ich bekomme eine kleine Provision.
Die Videoversion ansehen (10:37)
Alles oben steht auch im Video, falls du lieber am Bildschirm mitmachst. Das Video ist auf Englisch.
Häufige Fragen
Wie viel VRAM braucht Flux für Skizze zu Bild?
Mindestens 12 GB. Mit weniger nutze die SDXL-Version dieses Workflows, die mit 3–4 GB läuft, oder führe Flux auf einer Cloud-GPU aus.
Warum geben manche Auflösungen Glitches?
Bilder werden im latenten Raum um das Achtfache komprimiert, daher sollten Größen Vielfache von 8 sein. Eine ungerade Größe wie 1753 × 1753 funktioniert manchmal und führt manchmal zu Glitches. Quadratische Größen wie 1024 × 1024 sind am zuverlässigsten.
Wie bekomme ich aus einer groben Skizze ein besseres Ergebnis?
Hilf dem Tiefenmodell: Fülle die Silhouette mit einem vollen Ton und skizziere die Hände sauber. Die Tiefenkarte kann nur so klar sein wie die Skizze.
Anton Tenitsky ist 3D-Artist mit mehr als 15 Jahren Erfahrung in der Computergrafik, tätig für Nickelodeon, Gameloft, Marvel Rivals und viele weitere Kunden. Mehr über mich