D'un blockout 3D à un modèle 3D texturé avec l'IA : concept, forme et texture

Transformez un blockout 3D grossier d'un char en concept art avec Flux, puis en modèle 3D texturé avec Hunyuan3D et TRELLIS sur Hugging Face, et de retour dans Blender. Avec une comparaison de ChatGPT et Gemini pour l'étape du concept.

Anton Tenitsky13 octobre 20264 min de lectureVersion vidéo plus bas

Ce guide a été traduit de l'anglais par IA et peut contenir des erreurs. Lire l'original.

Un char de science-fiction jaune texturé, généré avec l'IA, posé sur le blockout 3D gris dont il provient, dans Blender

Un blockout 3D est le moyen le plus rapide de maîtriser une idée : les proportions, la silhouette et la caméra sont à vous. Ce guide mène un blockout fait de formes simples jusqu’à un modèle 3D détaillé et texturé, en utilisant l’IA pour les étapes intermédiaires :

  1. Du blockout au concept art, guidé par la profondeur d’une capture d’écran.
  2. Du concept art à la forme 3D avec Hunyuan3D.
  3. Du concept art au modèle texturé avec TRELLIS.
  4. De retour dans Blender, où il s’aligne avec le blockout d’origine.

En bref

  • Étape du concept : Flux dans ComfyUI a battu ChatGPT, et Gemini était bien moins bon sur la même capture.
  • Forme : Hunyuan3D-2 sur Hugging Face : environ 20 secondes, haute qualité, pas de textures.
  • Texture : TRELLIS sur Hugging Face : environ 30 secondes, avec une texture 2K.
  • Résultat : un GLB symétrique et texturé qui respecte les proportions du blockout.

1. Commencer par une capture d’écran du blockout

Faites une capture d’écran de votre blockout dans Blender. Un croquis fonctionne aussi. Le garder sous forme de blockout 3D a un vrai avantage : vous pouvez modifier n’importe quelle partie, l’agrandir ou la réduire, et relancer.

Un blockout 3D gris d'un char fait de boîtes et de cylindres simples
Le point de départ : un char ébauché avec des formes simples.

2. Le transformer en concept art

Quel que soit l’outil, l’idée est la même : l’outil lit la profondeur de la capture d’écran et crée du concept art guidé par votre prompt. J’en ai essayé trois, avec le même prompt (« cyberpunk tank, sci-fi tank »).

ChatGPT : collez simplement la capture et le prompt. Le résultat était plutôt bon, mais pas quelque chose que j’aimais vraiment.

La version de ChatGPT : un char de science-fiction gris foncé avec des lumières orange
ChatGPT : correct, mais pas ce que je cherchais.

Gemini : même prompt, et le résultat était bien moins bon que celui de ChatGPT.

La version de Gemini : un char gris uni avec peu de détails ajoutés
Gemini : bien plus faible avec le même prompt.

Flux dans ComfyUI a fait un bien meilleur travail avec la même capture. Le hic est la courbe d’apprentissage : configurer Flux avec un ControlNet de profondeur est bien plus compliqué que de faire un prompt à un chatbot. Mes guides Blender + IA expliquent comment. Si vous préférez essayer le workflow sans rien installer, il est sur RunComfy, déjà configuré, avec environ 15 minutes gratuites ; apportez votre propre capture.

La version de Flux : un char de science-fiction détaillé jaune et noir dans un désert
Flux avec un ControlNet de profondeur : le meilleur des trois.

3. Générer la forme 3D avec Hunyuan3D

Hugging Face héberge de nombreux modèles open source sous forme de Spaces, avec une interface web et généralement quelques générations gratuites. La plupart peuvent aussi s’installer sur votre propre ordinateur.

Dans le Space Hunyuan3D-2, glissez votre image de concept. Il supprime l’arrière-plan automatiquement, avec un modèle d’IA séparé. Réglez le nombre cible de faces. Je l’ai gardé autour de 30 000 triangles ; plus prendra plus de temps et ne sera peut-être pas beaucoup plus beau. Cliquez ensuite sur Generate Shape.

Le Space Hunyuan3D-2 montrant le maillage 3D gris du char généré
Hunyuan3D : une forme de haute qualité en environ 20 secondes, mais sans texture.

Cela a pris environ 20 secondes, et la qualité était élevée. Il a même bien interprété l’antenne. Une petite figure sur le char est sortie comme un défaut ; dans mon rendu final, je l’ai retirée dans Photoshop. Le hic : pas de textures.

4. Obtenir un modèle texturé avec TRELLIS

Pour les textures, j’ai utilisé TRELLIS, également sur Hugging Face. Envoyez la même image : il supprime l’arrière-plan et rend l’image carrée automatiquement. J’ai laissé les réglages de génération tranquilles, réglé la taille de texture sur 2K dans les paramètres d’extraction du GLB, et cliqué sur Generate & Extract GLB.

Le modèle de char jaune texturé généré par TRELLIS, montré avec sa carte de texture
TRELLIS : un modèle texturé et symétrique en environ 30 secondes.

En 30 secondes environ, j’avais un modèle symétrique, joli, avec des textures. TRELLIS peut aussi prendre plusieurs images d’un même objet (face, profil, dessus) pour un meilleur modèle ; l’image unique m’a suffi, même si je voudrais quand même le nettoyer.

5. De retour dans Blender

Téléchargez le GLB, un format qui contient à la fois le maillage et sa texture, et glissez-le dans Blender. Le mien est arrivé minuscule et a demandé une remise à l’échelle, mais le maillage était bon.

Le char texturé généré dans Blender à côté du blockout gris d'origine, avec des proportions identiques
Les proportions correspondent au blockout, parce que le concept a été généré à partir de sa profondeur.

Les proportions suivent de près le blockout d’origine, parce que le concept art a été généré à partir de la profondeur du blockout. C’est tout l’intérêt du pipeline : vous contrôlez le design en 3D, et l’IA remplit le détail.

L’image vers 3D a progressé vite depuis que j’ai fait ceci. Pour générer de nombreux modèles texturés à la fois, voir mon guide plus récent sur TRELLIS 2 dans ComfyUI.

Le lien RunComfy est un lien de parrainage.

Voir la version vidéo (4:54)

Tout ce qui précède est aussi dans la vidéo, si vous préférez suivre à l’écran. La vidéo est en anglais.

Questions fréquentes

Qu'est-ce qui est le mieux pour du concept art à partir d'un blockout 3D : ChatGPT, Gemini ou Flux ?

Dans mon test, Flux dans ComfyUI a fait le meilleur travail, ChatGPT s'est montré correct, et Gemini était bien moins bon. Flux demande plus d'apprentissage pour être configuré.

Pourquoi ai-je besoin de deux modèles, Hunyuan3D et TRELLIS ?

À l'époque, Hunyuan3D donnait la meilleure forme mais pas de textures, tandis que TRELLIS donnait un modèle texturé. J'ai utilisé Hunyuan3D pour la qualité de la forme et TRELLIS pour la version texturée.

Dans quel format de fichier se présentent les modèles 3D ?

GLB, qui contient à la fois le maillage et sa texture, et se glisse directement dans Blender.

Anton Tenitsky est artiste 3D avec plus de 15 ans d'expérience en infographie, qui a travaillé avec Nickelodeon, Gameloft, Marvel Rivals et de nombreux autres clients. En savoir plus sur moi

Guides associés