Du croquis à l'art IA avec Flux dans ComfyUI, en local ou dans le cloud

Transformez un croquis rapide au stylo, dans Photoshop ou Alchemy en concept art soigné avec Flux et un ControlNet de profondeur. Chaque node expliqué, la règle de résolution qui évite les défauts, et comment l'exécuter sans gros GPU.

Anton Tenitsky13 octobre 20265 min de lectureVersion vidéo plus bas

Ce guide a été traduit de l'anglais par IA et peut contenir des erreurs. Lire l'original.

Un croquis rapide au stylo d'une femme assise à côté de l'image photoréaliste que Flux en a générée

Un croquis grossier suffit à l’IA pour lire la profondeur et la pose. Ce workflow transforme un croquis, fait sur papier au stylo, dans Photoshop ou avec un outil comme Alchemy, en concept art terminé avec Flux dans ComfyUI.

Flux est lourd : il vous faut au moins 12 Go de VRAM. Si vous avez un portable ordinaire avec 3–4 Go, la version SDXL de ce workflow est faite pour vous. Flux donne de meilleurs résultats ; SDXL est plus rapide.

Une figure stylisée illustrant que Flux est meilleur mais que SDXL est plus rapide — Le compromis : Flux est meilleur, SDXL est plus rapide et plus léger.

En bref

Profondeur : Depth Anything V2 lit la profondeur même d’un croquis vague.
ControlNet : Flux depth ControlNet v3 de XLabs.
Résolution : carrée, et toujours un multiple de 8, par ex. 1024 × 1024.
Sampler : seed en increment, 35 étapes.
Pas de GPU ? Exécutez-le dans le cloud.

Custom nodes

Tous depuis le ComfyUI Manager : comfyui_controlnet_aux, rgthree, x-flux-comfyui, ComfyUI Essentials et ComfyUI-GGUF. Chaque node du workflow indique de quel pack il vient, vous pouvez donc toujours le retrouver.

1. Charger et redimensionner le croquis

Load Image prend votre croquis. Image Resize (de ComfyUI Essentials) l’amène à l’une de quelques bonnes résolutions. Je les liste dans une note du workflow.

Le carré est le format le plus natif pour SDXL et Flux, et c’est celui qui donne les meilleures performances d’après mon expérience. Le portrait et le paysage conviennent aussi ; je m’en sers beaucoup.

Utilisez des multiples de 8. L’image est compressée huit fois en entrant dans l’espace latent, où se déroule la diffusion. Un croquis numérisé en 1753 × 1753 n’est pas divisible par 8, et des tailles impaires comme celle-là fonctionnent parfois et donnent parfois des défauts. J’ai testé beaucoup de résolutions ; restez sur les courantes.

Un aperçu de croquis montrant une résolution impaire de 1753 par 1753 pixels — 1753 × 1753 n'est pas divisible par 8. Redimensionnez d'abord à une taille standard.

2. Lire la profondeur

Depth Anything V2 (de comfyui_controlnet_aux) lit la profondeur du croquis. Ce qu’il tire de quelques traits de stylo est remarquable. Son propre réglage de résolution met le côté court à 1024, ce qui recoupe le redimensionnement, mais je garde quand même le redimensionnement : il m’arrive d’importer un rendu de profondeur directement depuis Blender et de contourner Depth Anything (Ctrl+B).

Le node Depth Anything V2 Relative avec le modèle vitl à la résolution 1024 — Depth Anything V2, le plus gros modèle, résolution 1024.

Téléchargez le modèle depuis le Model Manager (j’utilise le plus gros, qui devrait être le plus performant), puis rechargez simplement le navigateur ; pas besoin de redémarrer. Il est indépendant de Flux et de SDXL, ce qui est l’une des belles choses de ComfyUI : vous pouvez combiner des modèles de sources différentes.

Un croquis rapide au stylo d'une femme assise sur du papier — Le croquis d'entrée. Remplir la silhouette et les mains donnerait une carte de profondeur plus propre.

Astuce : la carte de profondeur n’est aussi nette que votre croquis. Dessinez correctement les mains et remplissez la silhouette avec un aplat, et le modèle a bien plus de matière.

3. Appliquer le ControlNet de Flux

L’image de profondeur va dans Apply Flux ControlNet (de x-flux-comfyui). Lire la profondeur est une compétence à part, qui demande donc un modèle à part, et en entraîner un coûte des dizaines ou des centaines de milliers de dollars. Ici, c’est le Flux depth ControlNet v3 de XLabs, disponible dans le Model Manager.

Le node Load Flux ControlNet avec le modèle flux-depth-controlnet-v3, connecté à Apply Flux ControlNet — Le modèle ControlNet de profondeur qui lit la carte de profondeur pour Flux.

4. Modèle et toile

Load Diffusion Model charge Flux dev. L’Empty Latent Image est la toile où l’image est générée, sa taille doit donc correspondre à votre redimensionnement : 1024 × 1024 ici.

Définissez la résolution une seule fois. Au lieu de saisir 1024 à plusieurs endroits, ajoutez un node integer (du pack ComfyUI Easy Use), saisissez-y la taille et connectez-le à chaque largeur et hauteur. Pour passer à 1536, vous changez un seul nombre.

5. Prompt

Le DualCLIPLoader charge les deux encodeurs de texte de Flux : CLIP-L et T5 XXL, tous deux dans le Model Manager. Il existe de nombreuses versions ; je n’ai pas vu beaucoup de différence entre elles et je m’en tiens aux safetensors fp8 normaux.

Le node DualCLIPLoader avec les modèles clip_l et t5xxl fp8 — Les deux encodeurs de texte de Flux : CLIP-L et T5 XXL.

J’ai renommé le node CLIP Text Encode en « Positive Prompt » pour que le graphe se lise clairement. Demandez à ChatGPT ou à Gemini de vous aider à rédiger le prompt. Il passe par Flux Guidance vers le conditionnement du sampler. Le prompt négatif est lui aussi connecté, mais dans Flux il n’est pas soustrait du positif comme dans SDXL, il a donc très peu d’effet.

6. Réglages du sampler

Le XLabs Sampler :

Seed : increment. La seed aléatoire par défaut donne d’énormes nombres. En increment, chaque image a un cran de plus que la précédente (1, 2, 3…), ce qui les rend faciles à suivre et à partager : donnez la seed et les réglages à quelqu’un, et il peut reproduire votre image.
Steps : 35. Toute valeur de 20 à 50 convient ; au-delà de 50, les rendements décroissent, c’est plus lent sans meilleure image. 35 me donne une belle image sans trop d’attente, Flux étant exigeant.
Tout le reste : laissez-le. Ces réglages ne peuvent pas améliorer ce résultat, mais peuvent le dégrader.

Le node XLabs Sampler avec la seed réglée sur increment — Le XLabs Sampler avec la seed en increment.

7. Décoder et enregistrer

VAE Decode, avec le VAE de Flux (un petit téléchargement depuis le Model Manager), transforme le résultat de l’espace latent en pixels. Save Image l’écrit avec le préfixe que vous avez défini.

Une image terminée dans l'aperçu de ComfyUI à la fin du workflow — Le résultat décodé à la fin du graphe.

Les mains sont souvent le point faible ; je les corrige avec l’inpainting, traité dans corriger les mains d’IA. Pour traiter beaucoup de croquis ou de photos d’un coup, voir concept art en lot à partir de photos.

Pas de GPU ? Exécutez-le dans le cloud

Ce workflow est sur RunComfy, déjà configuré, avec des minutes d’essai gratuites : pas d’installation, cliquez et essayez. Ces temps-ci, je fais tourner mon travail ComfyUI sur RunPod à la place, qui vous donne une machine entière à l’heure ; mon introduction à RunPod montre la mise en place.

Le lien RunComfy est un lien de parrainage, tout comme mon lien de parrainage RunPod : les nouveaux comptes RunPod inscrits avec Google reçoivent entre 5 et 500 $ de crédit après leurs 10 premiers dollars, et je touche une petite commission.

Voir la version vidéo (10:37)

Tout ce qui précède est aussi dans la vidéo, si vous préférez suivre à l’écran. La vidéo est en anglais.

Questions fréquentes

De combien de VRAM Flux a-t-il besoin pour passer du croquis à l'image ?

Au moins 12 Go. Avec moins, utilisez la version SDXL de ce workflow, qui tourne avec 3–4 Go, ou faites tourner Flux sur un GPU cloud.

Pourquoi certaines résolutions donnent-elles des défauts ?

Les images sont compressées huit fois dans l'espace latent, les tailles doivent donc être des multiples de 8. Une taille impaire comme 1753 × 1753 fonctionne parfois et donne parfois des défauts. Les tailles carrées comme 1024 × 1024 sont les plus fiables.

Comment obtenir un meilleur résultat à partir d'un croquis grossier ?

Aidez le modèle de profondeur : remplissez la silhouette avec un aplat et dessinez correctement les mains. La carte de profondeur ne peut être aussi nette que le croquis.

Anton Tenitsky est artiste 3D avec plus de 15 ans d'expérience en infographie, qui a travaillé avec Nickelodeon, Gameloft, Marvel Rivals et de nombreux autres clients. En savoir plus sur moi

Guides associés

Transformer des croquis en art IA sur un GPU de 4 Go avec SDXL dans ComfyUIGénération d'images Comment réparer des mains d'IA ratées dans ComfyUI avec l'inpainting de FluxCorriger et améliorer Concept art en lot à partir de photos avec Flux et un ControlNet de profondeur dans ComfyUIGénération d'images