写真はAIアートの優れた出発点です。構図、奥行き、ライティングが手に入るので、プロンプトがずっと少なくて済みます。このワークフローはフォルダの写真をすべてスタイル変換し、すべて無料で自分のコンピューターで動きます。私はVRAM 4GBのグラフィックスカードで実行しました。
使うのはSDXLです。Fluxのほうが良い結果になりますが、ずっと重くなります。小さなGPUなら、こちらのバージョンです。
ポイント
- モデル: 6GBのSDXLモデルJuggernaut XL。それでもVRAM 4GBで動きます。
- 構造: 各写真の深度マップが、SDXLの深度ControlNetを動かします。
- 設定: 深度の解像度は768、30ステップ、CFG 4。
- バッチ: 写真のフォルダを、順番に処理します。
- 完成したワークフローは私のPatreonにありますが、すべてここで説明します。
カスタムノード
ComfyUI Managerから:バッチローダー用のWAS Node Suite、Depth Anything用のcomfyui_controlnet_aux、ComfyUI Essentials、保存用のKJNodes、ビフォーアフター比較用のrgthree。
1. フォルダを読み込む
(WAS Node Suiteの)Load Image Batchをincrementalに設定します。フォルダを指定すると、実行のたびに次の画像を取り出します。
2. 深度マップを作る
各写真はDepth Anythingに入り、グレースケールの深度マップを作ります。近いものが白、遠いものが黒です。AIを導くのは写真そのものではなく、このマップです。写真の構造を保ったまま、新しい素材、ライティング、スタイルが得られます。
ノードのresolution設定は重要です。私の写真は幅が4Kから7Kピクセルで、大きすぎました。resolutionの値は画像の短辺を決め、長辺はそれに合わせて縮尺されるので、縦向きでも横向きでも使えます。私は768にしました。GPUが耐えられるなら1024でも動きます。
3. 深度ControlNetを適用する
深度マップは、SDXLの深度ControlNetモデルを使ったApply ControlNetに入ります。ComfyUIのModel Managerで「SDXL depth」を検索して見つけ、ダウンロードし、ブラウザを再読み込みして、ドロップダウンから選びます。Apply ControlNetの出力がKSamplerに入ります。
4. モデル
Load Checkpointが、RunDiffusionのJuggernaut XL(6GBのモデル)を読み込みます。
視聴者から、6GBのモデルがどうして4GBのカードで動くのかと聞かれました。ComfyUIがメモリを管理するからです。モデルがVRAMに収まらないとき、一部をシステムRAMに置き、必要に応じて必要な部分を移動させます。大きなカードより遅くなりますが、動きます。
5. プロンプト
ポジティブプロンプトは、写真が大半の仕事をするので短くしています。見慣れたスタイルの手っ取り早い近道として「Star Wars」を使いました。欲しいものに置き換えてください。「sci-fi, black metallic city」でも、中世の城でも構いません。
ネガティブプロンプトは空にしています。試した20〜30のモデルのほとんどは、ポジティブプロンプトだけで動きます。2つのプロンプトはどちらもApply ControlNetを通ってサンプラーに入ります。
6. サイズ、サンプリング、デコード
リサイズ後の画像はVAE Encodeも通ります。ここでの役目は、latentのキャンバス、つまりサンプラーが画像に変えるノイズのサイズを決めるだけです。denoiseが1.0なので、写真のピクセルは何も残らず、結果の形を決めるのは深度マップだけです。
KSamplerの設定は、Civitai上のモデルのページから取っています。ほとんどのコミュニティモデルの推奨設定がそこで見つかります。
- Seed: increment。画像に654、655と順番に番号が付きます。
- Steps: 30。
- CFG: 4。
- サンプラーとスケジューラー: モデルページの推奨どおり。
VAE Decodeが結果をピクセルに変換し、rgthreeのimage comparerが写真と結果を並べて表示します。
7. 好きな場所に保存する
ComfyUIのデフォルトの出力フォルダではなく、選んだフォルダに書き込む保存ノードを使い、ファイル名のプレフィックスはSDXLにしています。プロジェクトのある場所を指定してください。
あとはバッチをキューに入れて、フォルダを処理させます。いくつかの写真パックや自分のギャラリーを眺めれば、あっという間にたくさんのアイデアが得られます。
動画版を見る (7:10)
上の内容はすべて動画でも説明しています。画面を見ながら進めたい方はこちらをどうぞ。 動画は英語です。
よくある質問
SDXLはVRAM 4GBのGPUで動きますか?
はい。6GBのJuggernaut XLモデルを使ったこのワークフローを、VRAM 4GBのカードで動かしました。ComfyUIのメモリ管理のおかげで動きますが、大きなカードより遅くなります。
Juggernaut XLにはどんな設定が必要ですか?
Civitaiが推奨するモデルの設定を使いました。30ステップ、CFG 4で、サンプラーとスケジューラーはモデルページに記載のものです。
これにはSDXLとFluxのどちらを使うべきですか?
Fluxのほうが良い結果になりますが、メモリを多く使い、遅くなります。小さなGPUや素早いアイデア出しにはSDXLです。
Anton Tenitsky は コンピュータグラフィックスで15年以上の経験を持つ3Dアーティストで、Nickelodeon、Gameloft、Marvel Rivalsをはじめ多くのクライアントと仕事をしてきました。 プロフィールを見る