ComfyUIは、AI画像モデルを動かすためのノードベースのインターフェースです。非常に高度で、有料のウェブツールより高機能な面もあります。常に品質が良いわけではありませんが、ローカルで動き、無料で、どのウェブツールにもできない非常に特殊なことをさせられます。これはその第一歩で、インストールして、最も基本的なテキストから画像へのグラフをゼロから構築し、各ノードの役割を理解します。最初の生成はティーポットです。
ポイント
- インストール: ComfyUIのGitHubページからportable版をダウンロードし、解凍して、
run_nvidia_gpu.batを実行します。 - モデル: Stable Diffusion 1.5(
v1-5-pruned-emaonly.safetensors)をComfyUI/models/checkpointsに置きます。 - グラフ: Empty Latent Image → Load Checkpoint → 2つのCLIP Text Encodeプロンプト → KSampler → VAE Decode → Save Image。
- うまく機能するデフォルト: 20ステップ、CFG 8、サンプラーdpm_2、フォトリアルな画像にはスケジューラーkarras。
ComfyUIをインストールする
Python
ComfyUIと互換性のあるバージョンのPython 3.11.5を、python.orgからインストールしました。最新のPythonバージョンは互換性の問題を起こすことも、起こさないこともあり、確実なことは分かりません。Windowsのインストーラーをダウンロードして、基本的な手順を進めてください。(以下のportable版のComfyUIには、専用の組み込みPythonも付属しています。)
ComfyUI portable
ComfyUIのGitHubページには、ファイル、ドキュメント、そして何度も戻って覚える価値のあるキーボードショートカットの便利な一覧があります。
- Windowsではportable版を使います。直接のダウンロードリンクでzipが手に入ります。(他のシステムでのインストールは、そのページの下のほうにあります。)
- 解凍し、フォルダを開いて、**
run_nvidia_gpu.bat**をダブルクリックします。使えるGPUがない場合は、代わりにCPU版を使ってください。 - 初回起動で、ComfyUIが必要とするモジュールをダウンロードするので、5〜10分待ちます。その後、ブラウザで開きます。
modelsに置き、レンダリングはoutputに保存されます。ワークフローが読み込まれた状態で開かない場合は、Workflow → Browse Templatesに進み、最も基本的なテンプレートのImage Generationを選びます。Queueをクリックすると、まだモデルがないと表示されます。
モデルをダウンロードする
Stable Diffusion 1.5
Hugging FaceからStable Diffusion 1.5を入手します。Files and versionsを開き、**v1-5-pruned-emaonly.safetensorsをダウンロードします。ComfyUI/models/checkpoints**に置きます。
.ckptより.safetensorsを選んでください。 .ckptファイルはPythonのpickleで、読み込み時に実行されるコードを含むことがあります。safetensorsは、モデルの数値だけを保持する形式です。コミュニティサイトからモデルをダウンロードするときに、最も重要になります。
なぜ新しいモデルでなく1.5か
初心者には混乱が多くあります。Stable Diffusion 3.5、2.1、SDXL、Flux、1.5。まずは1.5から始めてください。
- 実績があります。 ComfyUIの強みは、他の人のワークフローをドラッグして入れればそのまま動くことで、多くのカスタムノード、プラグイン、ワークフローが1.5のモデル(またはSDXL)を必要とし、3.5やFluxを必要とすることはより少ないのです。
- 高速です。 学習中は多くの試行をしたく、この段階では品質はそれほど重要ではありません。
SD 1.5はベースモデルです。人々が追加のデータセットでファインチューンしており、そうしたモデルのほうがはるかに良い結果になります。素のモデルで遊ぶこともありますが、より多くはepiCPhotoGasmのようなファインチューンしたモデルを使います。
Civitaiのファインチューンしたモデル
Civitaiには、SD 1.5、SDXL、Fluxなどのファインチューンしたモデルが膨大にあります。スタイル(アニメ、スタイライズ、レンブラントのような古典的な画家など何でも)で検索し、各ページに記載されたベースモデルを確認します。良いフォトリアリズムのために、SD 1.5のモデルであるepiCPhotoGasmを選びました。同じcheckpointsフォルダに入れます。
ComfyUIに戻り、Edit → Refresh Node Definitionsで新しいファイルが見つかります。大きな変更では、ComfyUIを完全に再起動する必要があることもあります。
最初の画像
Load Checkpointでモデルを選び、Queueをクリックします。コマンドウィンドウは開いたままにしてください。エラーと、1枚あたりの所要時間が表示されます。
インターフェース自体はシンプルです。保存とエクスポート、元に戻すとやり直し、ヘルプとドキュメント、ノードを検索するノードライブラリ、モデルライブラリ、そしてワークフローファイル。サイドバーのアイコンをもう一度クリックすると、そのパネルが隠れます。
自分でグラフを構築する
白紙から始めます:Workflow → New。空のキャンバスをダブルクリックすると、名前でノードを検索できます。
1. Empty Latent Image:キャンバス
Empty Latent Imageを追加します。解像度とバッチサイズ(1回の実行あたりの画像数。Queueボタンの横のバッチ数も似た役割です)を設定します。
これは潜在空間の白紙のキャンバスです。モデルが動作する、エンコードされたノイズのある表現で、テンソル(数値の多次元配列)として保持されます。私は数学者ではありません。役に立つ考え方は、そのlatentに情報を与えることで操作するということです。テキストのプロンプト、別の画像、スタイルガイド、ノイズなどです。
2. Load Checkpoint:モデル
Load Checkpoint(「チェックポイント」はモデルのことです)を追加し、SD 1.5を選びます。3つの出力があります。
- MODELは、プロセス全体でどのモデルを使うかをComfyUIに伝えます。
- CLIPは、テキストプロンプトのような、画像を導く入力を扱います。
- VAE(変分オートエンコーダー)は、画像を潜在空間にエンコードし、元にデコードします。多くのチェックポイントに含まれていて、別の見た目にするために別のVAEを読み込むこともできます。
3. 2つのプロンプト
CLIPの出力からドラッグして離すと、ComfyUIが対応するノードを提示します。CLIP Text Encode (Prompt)を選びます。コピー(Ctrl+C、Ctrl+V)して、コピーも接続します。通常は2つのプロンプトを使います。欲しいもののポジティブと、欲しくないもののネガティブです。ノードのタイトルをダブルクリックすると、名前を変更できます。
4. KSampler:すべてが集まる場所
MODELからドラッグしてKSamplerを選びます。画像を解くノードです。ポジティブプロンプト、ネガティブプロンプト、空のlatentを接続します。設定は次のとおりです。
- Seedとcontrol_after_generate:fixedは同じ画像を繰り返し、incrementは1、2、3と数えるので変更をたどれ、randomizeは実行のたびに新しくします。
- Steps: ステップが多いほど高品質で、レンダリングは長くなります。2ステップは醜く、80ステップはより細かく見えますが、かなり時間がかかります。特定の数が最適なモデルもあるので、ドキュメントを読んでください。
- CFG(classifier-free guidance):値が低いほど、モデルの自由度が上がります。1〜2ではノイズや空白の画像になり、12、15、20ではプロンプトにはるかに強く従い、グリッチが出ることもあります。8が標準で良いデフォルトです。4〜10あたりで試してください。
- Sampler: 画像を作るアルゴリズムです。スタイライズ向けのものもフォトリアル向けのものもあり、速いものもあります。フォトリアルな画像にはdpm_2を使いました。
- Scheduler: サンプリング中に加わるノイズのパターンです。karrasはリアルな画像に向きます。
- Denoise: 結果が入力のlatentからどれだけ離れるかです。空のlatentではここでは効果がありません。image-to-imageでは重要になります。
5. VAE DecodeとSave Image
VAE Decodeが、latent(数値の配列)を実際の画像に変換します。KSamplerの出力とチェックポイントのVAEを接続します。その後、Save Imageを追加します。結果はComfyUI/outputに保存されます。
ポジティブプロンプトに「teapot」と入力して実行します。ComfyUIは、現在実行中のノードを緑でハイライトします。
結果を改善する
最初のティーポットは、あまり良くありませんでした。役立ったことは次のとおりです。
- より良い言葉選び:「white background, isolated, centered」。
- ネガティブプロンプト: アニメ風やスタイライズされた画像になることがあったので、それらの言葉をネガティブプロンプトに入れました。
- より良いモデル: 素のSD 1.5からepiCPhotoGasmへの切り替え。
その後、解像度を1024 × 1024に上げました。ピクセル数が4倍になり、時間も約4倍、5秒から23秒になりました。そのサイズでは複数のティーポットを作り続けたので、プロンプトに「single teapot」を加えました。「white background」と言うと、ティーポット自体も白くなりがちで、望むなら、白い背景の黒いティーポットを頼めます。それでも、ときどきグリッチが出ます。4枚をキューに入れて、お茶を淹れに行きました。
これは表面をなぞるだけの、非常に基本的な構成です。プロンプトや値を変えて何が変わるかを見ながら、経験を積んでください。それがソフトウェアの感覚をつかむ方法です。次は、ComfyUI Managerをインストールして、image-to-imageを試すです。
強いGPUなしで動かす
SD 1.5は、控えめなカードでも動きます。SDXLやFluxのような重いモデルや、長いバッチは、今は代わりにGPUを借りています。RunPod入門をご覧ください。
動画版を見る (19:22)
上の内容はすべて動画でも説明しています。画面を見ながら進めたい方はこちらをどうぞ。 動画は英語です。
よくある質問
初心者はComfyUIで、どのStable Diffusionモデルから始めるべきですか?
Stable Diffusion 1.5です。高速で、多くの共有ワークフロー、カスタムノード、プラグインがこれ(またはSDXL)向けに作られています。より良い画像には、epiCPhotoGasmのような、CivitaiのファインチューンしたSD 1.5モデルを使ってください。
ComfyUIでは、モデルファイルをどこに置きますか?
チェックポイントはComfyUI/models/checkpointsに置きます。その後、Edit → Refresh Node Definitions(またはComfyUIの再起動)を使うと、Load Checkpointのリストに表示されます。
CFGとステップは、いくつにすべきですか?
CFG 8が良いデフォルトで、4〜10は試す価値があります。非常に低い値ではノイズになり、非常に高い値ではプロンプトに従いすぎてグリッチが出ます。ステップが多いほど高品質ですが、レンダリングは長くなります。20前後が普通の出発点です。
テキストから画像へのワークフローで、denoiseが何もしないのはなぜですか?
denoiseは、結果が入力のlatentからどれだけ離れるかを制御します。空のlatentでは、離れる元がないため効果がありません。image-to-imageでは重要になります。
Anton Tenitsky は コンピュータグラフィックスで15年以上の経験を持つ3Dアーティストで、Nickelodeon、Gameloft、Marvel Rivalsをはじめ多くのクライアントと仕事をしてきました。 プロフィールを見る