粗いスケッチでも、AIが深度とポーズを読み取るには十分です。このワークフローは、紙とペン、Photoshop、Alchemyのようなツールで描いたスケッチを、ComfyUIのFluxで完成したコンセプトアートに変えます。
Fluxは重く、VRAMが最低12GB必要です。3〜4GBの普通のノートPCなら、このワークフローのSDXL版が向いています。結果が良いのはFlux、速いのはSDXLです。
ポイント
- 深度: Depth Anything V2は、曖昧なスケッチからでも深度を読み取ります。
- ControlNet: XLabsのFlux depth ControlNet v3。
- 解像度: 正方形で、常に8の倍数(例:1024 × 1024)。
- サンプラー: seedはincrement、35ステップ。
- GPUがない? クラウドで動かしてください。
カスタムノード
すべてComfyUI Managerから:comfyui_controlnet_aux、rgthree、x-flux-comfyui、ComfyUI Essentials、ComfyUI-GGUF。ワークフローのどのノードにも、どのパックのものかが表示されるので、いつでも調べられます。
1. スケッチを読み込んでリサイズする
Load Imageがスケッチを受け取ります。(ComfyUI Essentialsの)Image Resizeが、いくつかある良好な解像度のどれかに揃えます。それらはワークフロー内のノートに載せてあります。
正方形はSDXLとFluxにとって最もネイティブな形式で、私の経験では最も良く機能します。縦向きと横向きも問題なく、私もよく使います。
8の倍数を使います。 画像は、拡散が行われる潜在空間に入る途中で8分の1に圧縮されます。1753 × 1753でスキャンしたスケッチは8で割り切れず、そうした中途半端なサイズは、うまくいくこともグリッチが出ることもあります。多くの解像度をテストしましたが、一般的なものを使ってください。
2. 深度を読み取る
(comfyui_controlnet_auxの)Depth Anything V2が、スケッチの深度を読み取ります。数本のペン線から、これだけ引き出すのは驚くほどです。独自の解像度設定が短辺を1024に揃えるのでリサイズと重なりますが、それでもリサイズは残しています。Blenderから深度のレンダリングをそのまま持ち込み、Depth Anythingをバイパス(Ctrl+B)することがあるからです。
モデルはModel Managerからダウンロードし(最も性能が高いはずの最大のものを使います)、あとはブラウザを再読み込みするだけで、再起動は不要です。FluxやSDXLとは独立しています。異なる出どころのモデルを組み合わせられるのが、ComfyUIの良いところの1つです。
コツ: 深度マップは、スケッチ以上に鮮明にはなりません。手をきちんと描き、シルエットをベタ塗りで埋めると、モデルが使える材料がずっと増えます。
3. Flux ControlNetを適用する
深度画像は、(x-flux-comfyuiの)Apply Flux ControlNetに入ります。深度の読み取りは別の能力なので、別のモデルが必要で、学習には数万から数十万ドルかかります。ここでは、Model Managerにある、XLabsのFlux depth ControlNet v3を使います。
4. モデルとキャンバス
Load Diffusion ModelがFlux devを読み込みます。Empty Latent Imageは画像が生成されるキャンバスなので、サイズはリサイズと一致させる必要があります。ここでは1024 × 1024です。
解像度は1回で設定します。 1024を複数の場所に入力する代わりに、(ComfyUI Easy Useパックの)integerノードを追加し、そこにサイズを入力して、すべての幅と高さに接続します。1536に上げるには、1つの数字を変えるだけです。
5. プロンプト
DualCLIPLoaderが、Fluxの2つのテキストエンコーダー、CLIP-LとT5 XXLを読み込みます。どちらもModel Managerにあります。バージョンは多くありますが、違いはあまり見られないので、通常のfp8のsafetensorsを使っています。
グラフが読みやすいように、CLIP Text Encodeノードの名前を「Positive Prompt」に変えました。プロンプトを書くには、ChatGPTやGeminiに手伝ってもらいます。プロンプトはFlux Guidanceを通ってサンプラーのコンディショニングに入ります。ネガティブプロンプトも接続されていますが、FluxではSDXLのようにポジティブから差し引かれないので、ほとんど効果がありません。
6. サンプラーの設定
XLabs Sampler:
- Seed: increment。 デフォルトのランダムなseedは巨大な数字になります。incrementでは、各画像が前から1ずつ増える(1、2、3…)ので、追跡しやすく共有もしやすくなります。seedと設定を伝えれば、相手が同じ画像を再現できます。
- Steps: 35。 20から50まで機能します。50を超えると効果が薄れ、遅くなるだけで画像は良くなりません。Fluxは負荷が高いので、35なら待ち時間が長すぎずに良い画像が得られます。
- それ以外: 触りません。その設定でこの結果が良くなることはなく、悪化させることはありえます。
7. デコードして保存する
(Model Managerから小さくダウンロードできる)Flux VAEを使ったVAE Decodeが、結果を潜在空間からピクセルに変換します。Save Imageは、設定したプレフィックスで書き出します。
手が弱点になることがよくあり、私はインペイントで直しています。AIの手を直すで説明しています。多くのスケッチや写真を一度に処理するには、写真からのコンセプトアートの一括生成をご覧ください。
GPUがない?クラウドで動かす
このワークフローは、設定済みで無料のお試し時間があるRunComfyにあります。インストール不要で、クリックして試せます。最近のComfyUI作業は、代わりにRunPodで動かしていて、マシン全体を時間単位で借りられます。RunPod入門でセットアップを説明しています。
RunComfyのリンクは紹介リンクで、私のRunPod紹介リンクも同様です。Googleでサインアップした新規RunPodアカウントは最初の10ドルの利用後に5〜500ドル分のクレジットを受け取れ、私には少額の紹介報酬が入ります。
動画版を見る (10:37)
上の内容はすべて動画でも説明しています。画面を見ながら進めたい方はこちらをどうぞ。 動画は英語です。
よくある質問
スケッチから画像へのFluxには、VRAMがどのくらい必要ですか?
最低12GBです。それ以下なら、3〜4GBで動くこのワークフローのSDXL版を使うか、クラウドGPUでFluxを動かしてください。
解像度によってグリッチが出るのはなぜですか?
画像は潜在空間で8分の1に圧縮されるので、サイズは8の倍数にする必要があります。1753 × 1753のような中途半端なサイズは、動くこともグリッチが出ることもあります。1024 × 1024のような正方形が最も確実です。
粗いスケッチから、より良い結果を得るにはどうしますか?
深度モデルを助けてください。シルエットをベタ塗りで埋め、手をきちんと描きます。深度マップは、スケッチ以上に鮮明にはなりません。
Anton Tenitsky は コンピュータグラフィックスで15年以上の経験を持つ3Dアーティストで、Nickelodeon、Gameloft、Marvel Rivalsをはじめ多くのクライアントと仕事をしてきました。 プロフィールを見る