このガイドでは2つのことを扱います。このサイトの他のほぼすべてのガイドで使うアドオンのComfyUI Managerのインストールと、空のキャンバスの代わりに絵を使うimage-to-imageです。例では、頭蓋骨のプロンプトを、前に生成したティーポットと合成し、調整の末に頭蓋骨のティーポットができました。
ComfyUIが初めてなら、ComfyUIのノードの基本とテキストから画像へから始めてください。
ポイント
- Manager: gitをインストールして、ComfyUI-Managerを
ComfyUI/custom_nodesにgit cloneし、再起動します。 - Image-to-image: Load Image → Image Resize(512 × 512) → VAE Encode → KSamplerのlatent入力に接続して、Empty Latent Imageの代わりにします。
- Denoiseが混ぜ具合を決めます。1 = プロンプトだけ、0 = 画像だけ。合成は中央付近の狭い範囲にあります。
- 何度も実行する前提で。 良いものは約6回目に出ました。失敗作も面白いものです。
ComfyUI Managerをインストールする
Managerは、ワークフローが使うすべてのアドオンを扱います。持っているノードを更新でき、他の人のワークフローを持ち込んだときには、足りないノードを自動でインストールします。いつも使っていて、事実上必須です。
- gitをインストールします。 Managerはgitでインストールします。64-bit Git for Windowsのセットアップをダウンロードして実行します。簡単です。
- custom nodesフォルダを開きます。 エクスプローラーで、ComfyUIフォルダ内の
ComfyUI/custom_nodesに進み、パスをコピー(Ctrl+C)します。 - コマンドラインを開きます。 Win+Rを押し、
cmdと入力してEnterを押します。そのフォルダに移動します。cd C:\path\to\ComfyUI\custom_nodes - Managerをcloneします。 READMEにあるコマンドを使います。
改行せずに、1行で貼り付けてください。git clone https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager - ComfyUIを再起動します。 上部のバーにManagerボタンが表示されます。
custom_nodesに移動して、Managerをcloneします。READMEには、portable版のComfyUI向けのワンクリックのバッチファイルと、comfy-cliによるインストールも載っています。
Image-to-image:絵から始める
無地の背景に中央で孤立した新しい頭蓋骨を生成し、前の動画のティーポットと合成したいと考えました。
- 空のキャンバスをダブルクリックして、ティーポットを入れたLoad Imageを追加します。
- VAE Encodeを追加します。画像を潜在空間にエンコードします。画像をpixels入力に、チェックポイントのVAEをvae入力に接続します。
- そのLATENT出力を、KSamplerのlatent_imageに接続します。Empty Latent Imageノードはもう不要です。
Denoise:混ぜ具合のコントロール
KSamplerのDenoiseは、新しい画像がプロンプトと元の絵のどちらにどれだけ引っ張られるかを決めます。
- 1.0: プロンプトだけ。ティーポットは無視されて、頭蓋骨が得られます。
- 0: 画像だけ。組み合わせずに、ティーポットが得られます。
- その間: 合成。
Ctrl+Enterを押して実行します。
リサイズノードを追加する(最初のカスタムノード)
足りないものが1つあります。Empty Latent Imageノードは解像度を制御していましたが、それがなくなって制御を失いました。これは重要です。片辺が3000ピクセルの写真を持ち込むと、コンピューターがクラッシュすることがあります。
ComfyUIのコアノードには欲しいリサイズが含まれていないので、これがManagerの最初の仕事です。Manager → Custom Nodes Managerでresizeを検索します。多くありますが、jamesWalker55の**Various ComfyUI Nodes by Type**で問題なく動きます。インストールして、ComfyUIを再起動します。
その後、Load ImageとVAE Encodeの間にImage Resizeを追加し、512 × 512に設定します。
合成を調整する
最初の実行では、目に見える変化はありませんでした。経験上、非常に高い値は機能せず、ちょうど中間である必要があります。しかも変化は微小で、denoiseを100分の1動かすだけで、まったく違う絵になりました。
512 × 512では1回の実行が速いので、実行を続けるだけです。頭蓋骨と不具合を約6回繰り返した後、これが得られました。
たった512 pxです。大きく鮮明にするには、この同じティーポットが8KになるSD 1.5による無料のAIアップスケーリングをご覧ください。
失敗した生成
失敗作は見る価値があります。とても微妙なものもあり、カップに描かれた象の頭蓋骨のようなものもありました。彫刻的なカップ、頭蓋骨の周りに生える木、巻き付く針金、ティーポットの持ち手が付いた壊れた頭蓋骨などもありました。
あるとき、ろうそくを足し続けるので、ネガティブプロンプトにcandleを入れたら止まりました。
ほかのアイデアも試しました。頭蓋骨のほうがかっこいいと決める前の、人間の顔のティーポット。花のティーポットでは、花がピンクだったので、ティーポットもピンクに塗られ、これは色にじみそのものです。
「smoke」でも、denoiseがまた重要でした。少し高すぎるとすべてが煙になり、0.56前後では上に煙が加わり、0.7では煙だけでした。ティーポットの中のアイスクリームは、問題なくうまくいきました。
動画版を見る (6:54)
上の内容はすべて動画でも説明しています。画面を見ながら進めたい方はこちらをどうぞ。 動画は英語です。
よくある質問
ComfyUI Managerが必要なのはなぜですか?
カスタムノードのインストール、更新、無効化、削除を行い、他の人のワークフローを開いたときには、足りないノードをすべて自動でインストールできます。事実上必須です。
image-to-imageで2つの画像を合成するdenoiseの値はいくつですか?
1.0ではプロンプトだけ、0では入力画像だけになります。合成は中央付近の狭い範囲(ここでは約0.56)で起き、100分の1変えるだけで、まったく違う絵になることがあります。
エンコードする前に入力画像をリサイズするのはなぜですか?
Empty Latent Imageがないと、解像度の制御を失います。3000ピクセルの写真は、コンピューターをクラッシュさせることがあります。SD 1.5には512 × 512にリサイズします。
Anton Tenitsky は コンピュータグラフィックスで15年以上の経験を持つ3Dアーティストで、Nickelodeon、Gameloft、Marvel Rivalsをはじめ多くのクライアントと仕事をしてきました。 プロフィールを見る