D’un gribouillis à une couverture en moins d’une minute, même sur un portable avec 4 Go de VRAM. Ce workflow ComfyUI gratuit et hors ligne lit la profondeur d’un croquis simple et génère une image qui lui reste fidèle. ChatGPT fait quelque chose de semblable, mais ici vous voyez exactement comment cela fonctionne et gardez un contrôle total, sans abonnement et sans censure. Et il n’est pas obligé de s’agir de pin-ups : une potion, une épée, une créature, tout ce que vous pouvez croquer.
Cette version utilise SDXL, qui est rapide et léger. SDXL a tendance à rater les mains ; je les corrige avec Flux, plus lourd et meilleur. L’entrée n’a pas non plus besoin d’être un croquis : une photo ou un rendu 3D fonctionne de la même façon.
En bref
- Modèle : Juggernaut XL, un checkpoint SDXL.
- Profondeur : Depth Anything V2 plus un ControlNet de profondeur SDXL.
- Réglages : 1024 × 1024, 25 étapes, CFG 6–8, force du ControlNet environ 0,55.
- Vitesse sur 4 Go : environ 40 à 80 secondes par image.
- Attendez-vous à trier : peut-être une image sur cinq est vraiment bonne.
Construire pas à pas
Partez du preset standard image generation de ComfyUI ; cela fait gagner un peu de temps. Vous ajouterez trois packs custom depuis le Manager : ComfyUI Essentials, comfyui_controlnet_aux (pour Depth Anything V2) et rgthree. Pour le node d’entier, ajoutez ComfyUI Easy Use.
Une petite habitude qui aide : renommez les deux nodes de prompt « Positive Prompt » et « Negative Prompt », et colorez-les en vert et en rouge (clic droit → Color).
1. Charger et redimensionner le croquis
Ajoutez un node Load Image avec votre croquis. Je travaille avec des images carrées ; elles sont plus faciles. Redimensionnez avec le node Image Resize d’Essentials à 1024 × 1024 : les modèles SDXL ont été entraînés à cette taille, et les dimensions doivent être divisibles par 8.
2. Utiliser le croquis comme toile de départ
À la place de l’Empty Latent Image, encodez l’image redimensionnée avec VAE Encode (VAE du checkpoint, image dans son entrée de pixels) et connectez cela à l’entrée latente du KSampler. Vous pouvez supprimer le latent vide.
3. Charger Juggernaut XL
Le checkpoint par défaut est Stable Diffusion 1.5. Remplacez-le par Juggernaut XL, un modèle SDXL gratuit sur Civitai, où vous trouverez aussi les réglages recommandés du KSampler. Placez le fichier dans ComfyUI/models/checkpoints/, puis actualisez le navigateur (Ctrl+R) pour que ComfyUI le liste.
Réglages du KSampler :
- Étapes : 25. Les étapes, c’est de la qualité, mais au-delà de 50 cela apporte peu. 25 donne de bons résultats et fait gagner du temps.
- CFG : 6–8. Le CFG (classifier-free guidance) est la liberté que le prompt laisse au modèle. À 9 ou 10, l’image brûle : contraste dur, aspect étrange. À 6, le modèle a plus de marge d’interprétation, ce qui peut être bien. À 3, elle devient bruitée.
4. Le groupe de profondeur
Cherchez Depth Anything V2 (de comfyui_controlnet_aux) et ajoutez-le. Téléchargez le modèle Depth Anything depuis le Model Manager, actualisez le navigateur et connectez votre image.
Définissez la résolution une seule fois : ajoutez un node d’entier (d’Easy Use), saisissez 1024 et connectez-le à la largeur et à la hauteur du redimensionnement et à la résolution de Depth Anything. Quand vous voudrez essayer une résolution plus haute, vous changez un seul nombre.
Pour tester seulement cette partie, sélectionnez les autres nodes et contournez-les (Ctrl+B), puis lancez. Vous verrez la carte de profondeur.
Rendez le croquis plus facile à lire. Ma première carte de profondeur était seulement correcte. Remplir la figure, au stylo sur papier ou par un rapide remplissage dans Photoshop, a donné une carte de profondeur nettement meilleure, même si le pied restait un peu vague.
5. Le ControlNet
Ajoutez Apply ControlNet (un node standard) et connectez l’image de profondeur, les deux sorties de prompt et le VAE. Ses sorties vont au KSampler. Ajoutez ensuite Load ControlNet Model et connectez-le.
Les ControlNets sont propres à chaque modèle. SD 1.5, SDXL et Flux ont chacun les leurs. En fait, quand un nouveau modèle flambant neuf sort, il n’a souvent pas encore de ControlNets : excellent pour le prompting, mais inutile pour un vrai travail où il faut du contrôle. Trouvez ControlNet SDXL depth dans le Model Manager, actualisez et sélectionnez-le.
Premiers résultats, et le réglage qui les corrige
Mon premier prompt était simple : une femme allongée dans un champ d’herbe. Sur le portable de 4 Go, la première image a pris 65 secondes (chargement du modèle compris). La pose était juste, mais l’image n’était pas terrible. Un meilleur prompt de ChatGPT et un sampler adapté aux images photoréalistes ont un peu aidé. Ce n’était toujours pas bon.
La vraie solution a été la force du ControlNet. À 1,0, le modèle colle si fort au croquis que le résultat est mauvais. La baisser à 0,55 a donné au modèle la marge d’interpréter la pose, et le résultat était bien meilleur. Les mains et le visage restaient du SDXL typique, cependant.
N’augmentez pas la résolution pour réparer les détails
Augmenter la résolution améliore les visages et les mains, en théorie. Mais SDXL étire le corps : à 1536, les membres s’allongent déjà, et à 2048, la figure paraît extraterrestre. L’approche habituelle est de générer à environ 1024 puis d’agrandir ; voir mon guide d’upscaling gratuit.
Lancer pendant la nuit et trier
Peut-être une génération sur cinq est vraiment bonne. C’est normal : tout le monde trie les résultats de l’IA, ne croyez donc pas les vidéos marketing. Passez la file sur Run (Instant) et laissez tourner la nuit, et vous aurez un millier de rendus parmi lesquels choisir.
Ajoutez un rgthree image comparer avec le croquis en image A et le résultat en image B, et faites glisser le curseur pour comparer.
Croquis non carrés
Pour un croquis non carré, réglez le redimensionnement sur 1024 avec keep proportions. Le côté long devient 1024 et le côté court suit. Ma première tentative a utilisé fill/crop, qui a forcé un carré et coupé une partie du croquis. Keep proportions a couvert l’ensemble.
Une réserve : le redimensionnement proportionnel donne des tailles impaires pour le côté court (disons 716 ou 537), ce qui peut causer des générations bruitées et mauvaises de temps en temps. C’est un moyen rapide de gérer les images non carrées, mais s’en tenir aux résolutions standard est plus fiable.
Plus d’exemples
Un croquis Photoshop de plusieurs armes, avec un prompt simple, est devenu une collection d’armes. Un croquis de créature que j’avais dessiné il y a environ 20 ans est sorti remarquablement proche : l’anatomie des sabots et la selle suivaient le dessin. Monter la force à 0,7 saisirait mieux la queue, et nommer la queue et la tête dans le prompt aiderait aussi.
SDXL ou Flux ?
SDXL est idéal pour les ordinateurs avec 4 ou 8 Go de VRAM. Avec 16 à 24 Go, utilisez Flux : qualité supérieure, plus de variation et meilleur respect du prompt, mais bien plus lent et plus exigeant. La version Flux de ce workflow est dans du croquis à l’art avec Flux, et le workflow SDXL complet est sur mon Patreon.
Voir la version vidéo (16:26)
Tout ce qui précède est aussi dans la vidéo, si vous préférez suivre à l’écran. La vidéo est en anglais.
Questions fréquentes
Puis-je faire tourner SDXL sur un GPU de 4 Go ?
Oui. Sur mon portable de 4 Go, la première image a pris environ 65 secondes (chargement du modèle compris), et les suivantes de 40 à 80 secondes.
Quelle force de ControlNet utiliser avec SDXL ?
Autour de 0,55. À pleine force, le modèle colle si étroitement au croquis que les résultats empirent. Montez jusqu'à environ 0,7 s'il ne suit pas assez fidèlement le croquis.
Pourquoi mes personnages ont-ils de longs membres à des résolutions plus élevées ?
SDXL a été entraîné autour de 1024 × 1024. À 1536, l'anatomie s'étire déjà, et à 2048 elle paraît extraterrestre. Générez à 1024 et agrandissez ensuite.
Quel CFG utiliser ?
Entre 6 et 8, comme recommandé pour Juggernaut XL. Au-dessus de 8, l'image commence à brûler ; autour de 3, elle devient bruitée.
Anton Tenitsky est artiste 3D avec plus de 15 ans d'expérience en infographie, qui a travaillé avec Nickelodeon, Gameloft, Marvel Rivals et de nombreux autres clients. En savoir plus sur moi