Un accessoire 3D dans une pièce générée par l'IA : Blender 4.3, Stable Diffusion et projection de caméra

C’est un cours complet en un seul guide : installer Stable Diffusion, ébaucher une pièce dans Blender, générer une pièce médiévale photoréaliste à partir de sa profondeur, reprojeter cette image sur la pièce 3D, puis y placer un vrai modèle 3D, éclairé et ombré en cohérence, avec un court mouvement de caméra. L’idée est un showroom pour un accessoire. Il n’a pas besoin d’être médiéval ; il peut être de science-fiction ou de n’importe quoi d’autre.

Tout ici est gratuit. Il vous faut un portable gaming assez récent (trois ou quatre ans, c’est bon) avec une carte NVIDIA.

Le guide du phare traite plus en détail la partie de la profondeur au rendu. Ce qui est nouveau ici, c’est l’accessoire et la façon de le faire tenir dans l’image IA.

1. Installer Stable Diffusion (AUTOMATIC1111)

1. Installez Python et Git pour Windows depuis les liens du README de l’interface web : installations standard, cliquez sur OK jusqu’au bout.
2. Créez un dossier sur votre disque C:, cliquez dans la barre d’adresse de l’Explorateur, tapez cmd et appuyez sur Entrée.
3. Collez la ligne git clone du README et appuyez sur Entrée.
4. Lancez webui-user.bat. Le premier démarrage télécharge de nombreux paquets et peut prendre 10 à 20 minutes.

Mode sombre : clic droit sur webui-user.bat → Edit, ajoutez --theme dark aux arguments de ligne de commande, enregistrez et relancez.

Modèles

L’interface web peut être fournie avec Stable Diffusion 1.5. À l’époque, le plus récent était Stable Diffusion 3.5 sur Hugging Face (il faut un compte) : Medium est le meilleur pour du matériel grand public avec environ 5 Go ; Large et Large Turbo pèsent environ 16 Go chacun.

J’ai utilisé epiCPhotoGasm de Civitai. Placez les fichiers de modèle dans models/Stable-diffusion et cliquez sur le bouton d’actualisation à côté de la liste des modèles. Préférez les fichiers .safetensors : contrairement aux .ckpt, ils ne peuvent pas contenir de code exécutable. Changer de modèle prend quelques secondes, ou environ 40 pour un gros fichier.

Les images sont enregistrées automatiquement ; pour changer le dossier, collez un nouveau chemin dans Settings et cliquez sur Reload UI.

ControlNet

Extensions → Available → Load from, cherchez sd-webui-controlnet et cliquez sur Install. Téléchargez le modèle depth depuis lllyasviel/ControlNet-v1-1 dans le dossier des modèles de l’extension.

2. Ébaucher la pièce dans Blender 4.3

Blender 4.3 est un peu différent des versions précédentes.

• Coque : Maj+A → Cube, mis à l’échelle aux proportions réelles (environ 2 × 4 m). En Edit Mode, appuyez sur 3 pour la sélection de faces, supprimez les faces du dessus et déplacez-le pour ajouter de la profondeur.
• Plafond voûté : sélectionnez des arêtes, Ctrl+R pour des boucles d’arêtes (faites défiler pour en avoir plus), puis utilisez l’édition proportionnelle (G, défiler, Z) pour pousser le milieu vers le haut en voûte. En mode X-ray, sélectionnez les sommets du bas et appuyez sur G, Z, 0 pour aplatir le sol.
• Décoration : quelques cubes pour les poutres et les colonnes (G pour déplacer, S pour mettre à l’échelle par axe, Maj+D pour dupliquer). Restez discret : laissez de la place à l’IA pour réfléchir par elle-même.
• Biseautez tout. Sélectionnez les objets, Tab, Ctrl+B, faites défiler pour les segments. Si le biseau est inégal, les objets ont été mis à l’échelle sur un seul axe : annulez, Ctrl+A → Apply Scale, puis biseautez. Stable Diffusion préfère les formes plus douces, et elles laissent de la marge à la projection plus tard.

Caméra

Remettez à zéro les valeurs de rotation de la caméra, faites-la pivoter avec Ctrl pour l’aimanter, puis View → Cameras → Set Active Object as Camera et View → Lock Camera to View. Appuyez sur Home pour remplir l’écran avec la vue caméra.

Utilisez un objectif grand angle : 24 mm, ou même 18, comme le font les photographes immobiliers pour faire paraître les pièces plus grandes.

3. Rendre une passe de profondeur

1. Output Properties : résolution 50 %. Une résolution plus basse rend plus vite dans Stable Diffusion.
2. View Layer → Passes : activez Z.
3. Onglet Compositing → Use Nodes, rendez, ajoutez un Viewer et connectez Depth. Tout est blanc au début.
4. Insérez Map Range et faites glisser ses valeurs jusqu’à ce qu’il y ait assez d’information pour que Stable Diffusion puisse travailler.
5. Color Management → View Transform : Raw. Cela donne un meilleur dégradé. Si Stable Diffusion lit trop d’obscurité comme du lointain, essayez les réglages de contraste de Look ; même des détails que vous voyez à peine, il peut les capter.
6. Connectez Map Range au node Composite, rendez, et enregistrez en PNG, 16 bits, 0 % de compression.

Astuce de pro : floutez la carte de profondeur. Dans Photoshop, ou gratuitement dans Photopea (sans connexion), appliquez un flou gaussien de 2–2,5 px et exportez en PNG. Cela ajoute du caractère suggestif et aide vraiment. Plus tard, je l’ai floutée de 6–7 px pour de meilleurs résultats encore.

4. Générer la pièce

Dans txt2img :

• Déposez le PNG de profondeur, réglez la taille sur 960 × 540 (sinon il rend un carré).
• ControlNet : cochez Enable, type de contrôle Depth, préprocesseur depth_zoe. Les autres préprocesseurs ont donné des résultats bizarres.
• Control weight 0,7, qui donne plus de créativité. À 1, il colle à ce qu’il voit et peut paraître laid.
• Seed 10, fixe, pour que le même prompt donne la même image.

« Medieval room with window in the back » a donné un résultat qui ne me plaisait pas. Le prompt qui a fonctionné décrivait une pièce de donjon avec une fenêtre gothique simple, des murs et un sol anciens et abîmés, un plafond de bois avec des poutres de bois, et une longueur focale :

• Une fenêtre « simple », sinon il en faisait quatre ou cinq.
• « wooden beams », sinon il sautait parfois le plafond de bois.
• Une longueur focale l’a rendu plus réaliste. Je ne sais pas pourquoi cela aide, mais cela aide.

Surveillez le préprocesseur. À un moment, il est passé tout seul à depth_midas et a donné des résultats bizarres. Si les choses deviennent étranges et incontrôlables, vérifiez cela d’abord.

Enregistrez les réglages avec l’image : dans Settings → Saving images, activez l’écriture des informations de génération, puis utilisez l’onglet PNG Info pour renvoyer le prompt et la taille d’une image enregistrée vers txt2img. ControlNet n’est pas restauré ; réglez-le de nouveau à la main.

Upscaling

Hires. fix double la résolution. Les upscalers Latent et SwinIR 4x donnent des résultats différents, et les deux ont changé beaucoup de détails ; baisser la force de denoising de 0,7 à 0,5 en a conservé davantage. Cela demande bien plus de VRAM (j’ai dû redémarrer l’ordinateur d’abord) et prend 5 à 10 minutes au lieu de secondes.

Krea a une offre gratuite qui agrandit une poignée d’images. Je n’ai pas été convaincu à 1×, et avec la méthode « clarity » certaines parties se sont améliorées et d’autres ont empiré, perdant leur chaleur. C’est utile si votre ordinateur ne peut pas agrandir ; en passant un rendu de 1000 px à 2K, il a fait du bon travail.

Ce que 200 à 300 générations m’ont appris

• Mettez une fenêtre dans le prompt. Sans elle, l’éclairage paraissait faux ; avec, très naturel.
• « Mossy floor » donne de la mousse ; mentionner un château a mis un château à l’arrière-plan.
• Un cadre n’arrêtait pas d’apparaître ; ajouter « frame » au prompt négatif a fini par le supprimer.
• Des montagnes dans le prompt ont mis des montagnes dehors, derrière la fenêtre. « White sky » a peint les murs en blanc.
• Le poids du ControlNet entre 0,5 et 0,8 a le plus changé les résultats. Flouter la carte de profondeur de 5–15 px, ou ajouter du bruit monochrome, aide aussi : des bords irréguliers lui laissent de la marge. Cela scintillerait dans une animation, mais ici une seule image est nécessaire, et l’animation vient de Blender.

J’aurais pu combiner des variantes dans Photoshop, et la retouche est toujours une option, mais pour ceci je voulais montrer un export direct.

5. Projeter l’image sur la pièce

1. Créez un matériau, sélectionnez tous les objets de la pièce avec celui qui est texturé en dernier, et Ctrl+L → Link Materials.
2. Passez la surface en shader Background : pas d’ombrage, pas de spécularité, pas d’ombres. L’éclairage est déjà dans l’image IA.
3. Dans l’onglet Shading, ajoutez une Image Texture avec votre rendu, dans la couleur du Background.
4. Passez la view transform de Raw à AgX, sinon l’image paraît très sombre.
5. Subdivisez les maillages plusieurs fois, réglez la vue sur la caméra, sélectionnez tout et UV → Project from View.

La fenêtre du fond était instable parce qu’il n’y avait pas assez de géométrie derrière. J’ai supprimé les faces arrière et utilisé à la place une boîte étirée, puis j’ai reprojeté.

6. Ajouter un vrai accessoire 3D

J’utilise Sketchfab pour trouver des modèles : l’aperçu 3D est très bon, et plusieurs musées y publient des scans libres d’utilisation. Vérifiez la licence en bas de chaque page. J’ai trouvé une statue de saint André dans le domaine public. Il faut un compte pour télécharger.

1. Téléchargez en OBJ (il inclut les textures), décompressez et File → Import → OBJ. Déplacez, tournez et mettez à l’échelle jusqu’à la bonne place.
2. Dans l’onglet Shading, ajoutez trois nodes Image Texture : color → Base Color, roughness (non-colour) → Roughness, normal (non-colour) → un node Normal Map → Normal.
3. Assortissez la couleur : ajoutez Hue/Saturation après la texture de couleur. Décalez légèrement la teinte vers la lumière chaude et rosée de la pièce, et baissez la saturation et la valeur. Il faut un moment pour trouver la combinaison qui le fait appartenir.

7. L’éclairer pour l’assortir à la pièce

Avec Eevee, ajoutez des lumières qui imitent l’image IA :

• Principale : une lumière là où se trouve la fenêtre. J’ai remplacé la lumière ponctuelle par une lumière de zone pour un reflet plus large ; elle crée aussi une lumière de contour par l’arrière.
• Remplissage : une seconde lumière, bien plus terne, par l’avant, pour simuler la lumière rebondie de la pièce.
• Visage : la lumière ponctuelle par défaut de la scène, déplacée sur le visage (placez le curseur 3D avec Maj+clic droit, puis Maj+S → Selection to Cursor). La mienne a fini à environ 11 W.
• Couleur : rendez les lumières légèrement jaune-rose comme la pièce ; le sélecteur de couleur peut échantillonner l’arrière-plan.

8. Un shadow catcher

Sans ombres, la statue paraît fausse. Ajoutez un plan dessous et donnez-lui ce matériau :

1. Transparent BSDF et Diffuse BSDF dans un Mix Shader (facteur 0 = transparent, 1 = diffus).
2. Un second Diffuse BSDF (blanc) → Shader to RGB → le facteur du Mix. Échangez les entrées du mix si l’ombre sort inversée.
3. Dans les réglages du matériau, changez la méthode de rendu de Dithered à Blended.

Pour cacher le bord du plan, faites-le pivoter légèrement sur X et déplacez-le jusqu’à ce qu’il rencontre la géométrie. Déplacer la lumière principale change aussi la visibilité du dégradé.

Le light linking (nouveau dans Blender 4.3) empêche certaines lumières d’éclaircir l’ombre : dans Object → Shading → Light Linking de la lumière, cliquez sur New, faites glisser le plan du shadow catcher dedans et décochez-le. Je l’ai fait pour la lumière principale et la lumière du visage, et l’ombre est devenue bien plus sombre. C’est une astuce, mais cacher ainsi des choses est très courant en production.

La couleur du World change aussi les ombres. Un noir pur supprime la lumière ambiante grise ; le blanc éclaircit tout. J’ai utilisé une couleur plus sombre, légèrement brunâtre, pour l’assortir à la pièce.

9. Bloom et rendu plus doux

Blender 4.3 a changé le bloom. Dans l’onglet Compositing, ajoutez un node Glare, réglez-le sur Bloom et connectez le rendu à travers lui vers le Viewer et le Composite. Pour le prévisualiser dans le viewport, réglez le compositeur dans le popover Shading sur Always. Baissez le seuil à votre goût. Le bloom affecte aussi l’arrière-plan IA, ce qui ajoute de la dimension et de l’immersion.

De retour dans le matériau de la statue, un node Brightness/Contrast avec un peu moins de contraste donne le rendu plus doux, légèrement délavé, de l’arrière-plan. Appuyez sur M sur le node pour le mettre en sourdine et comparer.

10. Animer la caméra

1. Divisez la vue, appuyez sur Pavé num. 0 et verrouillez la caméra sur la vue.
2. Activez l’auto keying, déplacez la caméra, et elle place ses propres images clés. Allez à l’image 60 et rapprochez-vous du visage de la statue. La rotation n’a pas reçu d’image clé la première fois, faites donc aussi clic droit → Insert Keyframe sur la rotation.
3. Placez des images clés sur la focale pour un zoom vers un objectif de portrait.
4. Profondeur de champ : activez-la dans la caméra, faites la mise au point sur l’objet ou réglez la distance de mise au point (0,1 m en gros plan, environ 2 m au début) et placez des images clés. Baissez l’ouverture pour plus de flou.
5. J’ai étiré le mouvement jusqu’à l’image 250 pour le ralentir, réduit un peu le glare et baissé la lumière du visage.

Pour la vitesse, j’ai rendu directement en vidéo MPEG plutôt qu’en séquence de PNG. Enregistrez avant de rendre.

J’ai fait d’autres versions de la même façon : une pièce de thème égyptien avec un autre accessoire Sketchfab, et une pièce d’une autre époque avec une simple chaise au milieu.

Anton Tenitsky est artiste 3D avec plus de 15 ans d'expérience en infographie, qui a travaillé avec Nickelodeon, Gameloft, Marvel Rivals et de nombreux autres clients. En savoir plus sur moi