ステータス: RunPodで検証済み. 動画用に、このテンプレートでRunPod上の両方のワークフローを実行しました。
AIで効果音を1つ作るのは簡単です。プロンプト、長さ、ファイル名がそれぞれ違う効果音を50個や500個作るのが、この環境の目的です。ComfyUIでStable Audio 3 Mediumを動かし、2つの完成したワークフローを備えています。1つは単発の音用、もう1つはリストを自動で順番に処理します。
ローカルでも動かせます。GitHubのセットアップガイドにすべてのモデルとノードが載っており、チャットボットにお使いのマシン用のインストールコマンドへ変換してもらえます。あるいは、約2分ですべてがインストールされるワンクリックのRunPodテンプレートを使ってください。
ポイント
- モデル: ComfyUIに組み込まれたStable Audio 3 Medium。軽量で、ほぼどんなGPUでも動作します。
- 単発の音: プロンプトを入力し、長さを秒で設定して、実行します。
- バッチ: 3つのリスト(プロンプト、長さ、ファイル名)を1音1行で用意し、終わるまで実行します。
- 私が使う設定: 50ステップ、guidance 7。
- 正直な評価: 最高のオーディオモデルではありませんが、大量に作るには非常に安く済みます。
セットアップ
RunPodで: テンプレートを開き、GPUを選んでデプロイします。モデルは軽いのでGPUはほとんど関係なく、私はVRAM約20GBのカードを使いました。モデルが約11GBなので、30〜40GBのディスクで十分です。セットアップには約2分かかります。ComfyUIは少し早めに「ready」と表示することがあるので、さらに1〜2分待ってください。RunPodが初めてなら、RunPod入門から始めてください。
ローカルで: ComfyUI 0.30以降(Stable Audio 3は組み込み対応)、Comfy-Orgのリポジトリにある2つのモデルファイル、そしてバッチワークフロー用の私のPrompt Cyclerノードが必要です。ノードはComfyUI Managerの「install via Git URL」でインストールできます。
両方のワークフローは、ComfyUIのWorkflowsサイドバーに表示されます:sound_FX_single_soundとsound_FX_batch_soundです。
単発の音のワークフロー
小さなグラフです。
- Stable Audio 3 Mediumを読み込むLoad Checkpoint。
- テキストエンコーダー → ポジティブ/ネガティブプロンプト。 多くのモデルと違い、Stable Audioはネガティブプロンプトに対応しています。「hiss」や「ambient noise」を入れると結果がきれいになることもあれば、変わらないこともあります。
- 長さを秒で設定するEmptyLatentAudio。
- 50ステップ、guidance(CFG)7のKSampler。
- Save Audio (MP3)。
設定について知っておくべきことが2つあります。
- 長さは上限であって、約束ではありません。 6秒を頼んでも、4秒分の音のあとに無音になることがあります。
- ステップ。 品質には、50ステップ、guidance 7を使っています。8ステップ、guidance 1も試しましたが、使える音が得られました。どちらでもモデルは高速です。その速度を意図して使うなら、テンプレートは8ステップ、CFG 1向けに作られた蒸留版のStable Audio 3 Mediumをダウンロードできます(
DOWNLOAD_SA3_MEDIUM=1を設定し、チェックポイントローダーで選択します)。
Runをクリックします。音は数秒でできて、ノード上でそのまま再生できます。ファイルはMP3としてComfyUI/output/audio/に保存されます。Podでは、JupyterLabからダウンロードします。
output/audioフォルダに保存されます。バッチワークフロー
1音ずつでは意味がありません。バッチワークフローは同じグラフに3つのリストを加えたもので、すべてPrompt Cyclerノードが制御します。
- プロンプト: 1行に1つの音の説明。
- 長さ: 各行の長さ(秒)(私のリストでは8〜132秒)。
- ファイル名: 音ごとに1つの名前。
各リストの1行目は音1、2行目は音2、というように対応します。3つのリストは同じ長さ、同じ順序に保ってください。
リストを埋める最も簡単な方法は、チャットボット(ChatGPT、Gemini、Claude)に、番号や箇条書きなしのきれいな3つのリストとして、プロンプト、長さ、ファイル名を頼むことです。
その後、**Run (Instant)**でキューに入れるか、バッチ数を行数に設定します。プレビューノードには、実行中のプロンプトが表示されます。各音は数秒かかります。
バッチをリセットする
バッチの位置はメモリに保持されています。最初の行からやり直したいとき、またはComfyUIの再起動後は次のようにします。
- Cycle Resetを
trueにして、一度実行します。 falseに戻します。- バッチをもう一度キューに入れます。
少し不格好ですが、私が見つけた中で最も確実な方法です。リストは最後の行の後で先頭に戻るので、行数と同じ数の実行だけをキューに入れないと、バッチがやり直しになります。
各ファイルには_00001のような番号が付きます。後で名前を付け直しています。
ComfyUI/output/audioにあり、ダウンロードできます。品質はどれくらいか?
結果にはばらつきがあります。素晴らしい音もあればそうでないものもあり、プロンプトの書き方が大きく影響します。Stable Audio 3は最高のオーディオモデルではなく、ElevenLabsと比べると、互角のときもあれば、ElevenLabsが優れているときもありました。
この環境が提供するのは、量と制御です。自分の名前と長さの付いた何百もの音を、自分のGPUや安く借りたGPUで作れ、うまくいかなかったものを自由に作り直せます。
終わったら
Podを停止して課金を止め、さらに終了(terminate)します。停止したPodのディスクでさえ、数セントかかります。
テンプレートのリンクはRunPodの紹介リンクで、こちらも同様です。Googleでサインアップした新規アカウントは最初の10ドルの利用後に5〜500ドル分のクレジットを受け取れ、私には少額の紹介報酬が入ります。
動画版を見る (8:52)
上の内容はすべて動画でも説明しています。画面を見ながら進めたい方はこちらをどうぞ。 動画は英語です。
よくある質問
Stable Audio 3にはどのGPUが必要ですか?
ほとんど必要ありません。モデルは約9GBで、私が使った約20GBのVRAMのカードでは余裕で動きました。16GBのカードで足りるはずです。
Stable Audio 3の効果音はどのくらいの長さにできますか?
長さは秒数で指定します。私のバッチリストでは8〜132秒の長さを使いました。モデルが指定時間を埋めるとは限らず、6秒を頼んでも、4秒分の音のあと無音になることがあります。
Stable Audio 3はElevenLabsと同じくらい優れていますか?
私のテストでは、互角のときもあれば、ElevenLabsのほうが良いときもありました。ここでの利点は、自分のGPUや安く借りたGPUで何百もの音を生成できることです。
バッチが最初の音からやり直しになったのはなぜですか?
バッチの位置はメモリに保持されています。ComfyUIを再起動した後や、行数より多い実行をキューに入れたときに、最初からやり直しになります。行数とちょうど同じ数の実行をキューに入れてください。
Anton Tenitsky は コンピュータグラフィックスで15年以上の経験を持つ3Dアーティストで、Nickelodeon、Gameloft、Marvel Rivalsをはじめ多くのクライアントと仕事をしてきました。 プロフィールを見る