Les photos sont d’excellents points de départ pour l’art IA : elles apportent la composition, la profondeur et l’éclairage, vous avez donc besoin de bien moins de prompts. Ce workflow prend tout un dossier de photos et restylise chacune d’elles, le tout gratuitement et sur votre propre ordinateur. Je l’ai fait tourner sur une carte graphique de 4 Go de VRAM.
Il utilise SDXL. Flux donne de meilleurs résultats, mais il est bien plus lourd. Si vous avez un petit GPU, c’est la version pour vous.
En bref
- Modèle : Juggernaut XL, un modèle SDXL de 6 Go. Il tourne quand même sur 4 Go de VRAM.
- Structure : une carte de profondeur de chaque photo pilote un ControlNet de profondeur SDXL.
- Réglages : résolution de profondeur 768, 30 étapes, CFG 4.
- Lot : un dossier de photos, traitées l’une après l’autre.
- Le workflow terminé est sur mon Patreon, mais tout est expliqué ici.
Custom nodes
Depuis le ComfyUI Manager : WAS Node Suite pour le chargeur par lots, comfyui_controlnet_aux pour Depth Anything, ComfyUI Essentials, KJNodes pour l’enregistrement, et rgthree pour la comparaison avant/après.
1. Charger le dossier
Load Image Batch (de la WAS Node Suite) est réglé sur incremental : il pointe vers un dossier et prend l’image suivante à chaque exécution.
2. Créer une carte de profondeur
Chaque photo passe dans Depth Anything, qui produit une carte de profondeur en niveaux de gris : blanc pour ce qui est proche, noir pour ce qui est lointain. C’est cette carte, et non la photo elle-même, qui guide l’IA. Vous conservez la structure de la photo et obtenez de nouveaux matériaux, un nouvel éclairage et un nouveau style.
Le réglage resolution du node compte. Mes photos faisaient de 4K à 7K pixels de large, bien trop grandes. La valeur de résolution définit le côté court de l’image, et le côté long s’ajuste en proportion, ce qui fonctionne aussi bien pour les photos en portrait qu’en paysage. J’ai utilisé 768 ; 1024 convient si votre GPU le supporte.
3. Appliquer le ControlNet de profondeur
La carte de profondeur va dans Apply ControlNet avec un modèle ControlNet de profondeur SDXL. Trouvez-en un dans le Model Manager de ComfyUI en cherchant « SDXL depth », téléchargez-le, rechargez le navigateur et choisissez-le dans la liste. Apply ControlNet alimente ensuite le KSampler.
4. Le modèle
Load Checkpoint charge Juggernaut XL de RunDiffusion, un modèle de 6 Go.
Un spectateur a demandé comment un modèle de 6 Go tourne sur une carte de 4 Go. Cela fonctionne parce que ComfyUI gère la mémoire pour vous : quand le modèle ne tient pas dans la VRAM, il en garde une partie dans la RAM système et fait entrer les morceaux au fur et à mesure des besoins. C’est plus lent que sur une carte plus grosse, mais ça tourne.
5. Le prompt
Le prompt positif est court, parce que la photo fait l’essentiel du travail. J’ai utilisé « Star Wars » comme raccourci rapide pour un style reconnaissable. Remplacez-le par ce que vous voulez : « sci-fi, black metallic city », un château médiéval, n’importe quoi.
Je laisse le prompt négatif vide. La plupart des modèles que j’ai utilisés, et j’en ai essayé 20 ou 30, fonctionnent avec les seuls prompts positifs. Les deux prompts passent par Apply ControlNet puis vont au sampler.
6. Taille, échantillonnage et décodage
L’image redimensionnée passe aussi par VAE Encode. Son rôle ici est uniquement de définir la taille de la toile latente, le bruit que le sampler transforme en image. Avec un denoise à 1,0, aucun pixel de la photo ne survit ; seule la carte de profondeur façonne le résultat.
Les réglages du KSampler viennent de la page du modèle sur Civitai, où vous trouverez les réglages recommandés pour la plupart des modèles communautaires :
- Seed : increment, pour que les images soient numérotées dans l’ordre (654, 655 et ainsi de suite).
- Steps : 30.
- CFG : 4.
- Sampler et scheduler : comme recommandé sur la page du modèle.
VAE Decode transforme le résultat en pixels, et un rgthree image comparer montre la photo et le résultat côte à côte.
7. Enregistrer où vous voulez
Plutôt que le dossier de sortie par défaut de ComfyUI, j’utilise un node de sauvegarde qui écrit dans un dossier de mon choix, avec SDXL comme préfixe de nom de fichier. Pointez-le là où se trouve votre projet.
Mettez ensuite le lot en file et laissez-le parcourir le dossier. Parcourez quelques packs de photos, ou votre propre galerie, et vous obtiendrez beaucoup d’idées très vite.
Voir la version vidéo (7:10)
Tout ce qui précède est aussi dans la vidéo, si vous préférez suivre à l’écran. La vidéo est en anglais.
Questions fréquentes
SDXL peut-il tourner sur un GPU de 4 Go ?
Oui. J'ai fait tourner ce workflow, avec le modèle Juggernaut XL de 6 Go, sur une carte de 4 Go de VRAM. La gestion de mémoire de ComfyUI le rend possible, même si c'est plus lent que sur une carte plus grosse.
De quels réglages Juggernaut XL a-t-il besoin ?
J'ai utilisé les réglages recommandés par Civitai pour le modèle : 30 étapes et un CFG de 4, avec le sampler et le scheduler indiqués sur la page du modèle.
Faut-il utiliser SDXL ou Flux pour cela ?
Flux donne de meilleurs résultats mais demande plus de mémoire et est plus lent. SDXL est l'option pour les petits GPU et la génération rapide d'idées.
Anton Tenitsky est artiste 3D avec plus de 15 ans d'expérience en infographie, qui a travaillé avec Nickelodeon, Gameloft, Marvel Rivals et de nombreux autres clients. En savoir plus sur moi