Status: Auf RunPod getestet. Ich habe dieses Template auf RunPod für lange Avatar-Aufträge genutzt und es auf mehreren GPUs gleichzeitig laufen lassen.
Dieser Workflow verwandelt ein Foto und ein Voiceover in einen Talking Avatar mit Lippensynchronisation und hält das Gesicht von Anfang bis Ende gleich, ob das Video 30 Sekunden oder 50 Minuten lang ist. Er führt LTX-2.5 aus, das Video-und-Audio-Modell von Lightricks, das ComfyUI nativ unterstützt.
Alles liegt auf GitHub: der Workflow, ein kleines Node-Paket und das Setup-Skript. Du kannst ihn kostenlos lokal ausführen, wenn du die GPU hast; das Setup-Skript listet jedes Modell zum Herunterladen auf, und ein Chatbot kann es in Installationsbefehle für deine Maschine verwandeln. Ich habe ihn auf RunPod ausgeführt, weil ich fünf oder sechs GPUs gleichzeitig an einem Projekt einsetzen konnte.
Kurz gefasst
- Eingabe: ein Porträt und ein Voiceover von bis zu etwa 60 Minuten.
- GPU: Eine RTX 5090 (32 GB) empfehle ich.
- Auflösung: Etwa 0,9 Megapixel sind der Sweet Spot. Niedriger, und die Lippen beginnen zusammenzukleben.
- So funktioniert es: Das Audio wird an Pausen in Abschnitte von 3–12 Sekunden geschnitten; jeder Abschnitt beginnt und endet auf deinem Porträt; ein Skript fügt sie mit deinem Original-Audio zusammen.
- Lange Aufträge werden fortgesetzt nach einem Stopp, auf demselben Pod oder einem anderen.
Was du brauchst
- Ein Porträt: ein klares, frontal aufgenommenes Foto.
- Ein Voiceover von bis zu etwa 60 Minuten. Teile alles, was länger ist. Selbst dann würde ich die Teile bei etwa 30 Minuten halten: 30 Minuten Video brauchen auf einer RTX 5090 ein paar Stunden zum Rendern.
- Eine GPU mit 32 GB VRAM oder ein RunPod-Konto.
- 80 GB Speicher. Die Kernmodelle belegen etwa 39 GB, oder etwa 47 GB mit dem optionalen Prompt-Enhancer und dem Temporal Upscaler.
Ein Tipp für Eingaben: Neue Google-Cloud-Konten erhalten 300 $ Gratisguthaben (das ist kein Empfehlungslink). Das Porträt für diese Demo habe ich mit Googles Bildmodell Nano Banana und das Voiceover mit Googles Text-to-Speech erstellt, alles mit diesem Guthaben. Stimme ist so billig, dass 300 $ eine sehr große Menge davon abdecken; Bilder kosten mehr. Für Tausende Bilder ist mein Z-Image-Template der günstigere Weg.
Den Pod einrichten
Meine Einführung in RunPod behandelt die Grundlagen. Für dieses Template:
- Lege ein Network Volume von etwa 100 GB in einem Rechenzentrum mit vielen GPUs an. Du kannst es später vergrößern, und es wird stundenweise berechnet, solange es existiert, bei dieser Größe etwa 7 $ im Monat bei Standardspeicher.
- Stelle das Template bereit. Öffne den Template-Link oder suche in den öffentlichen Templates nach „LTX 2.5 consistent avatar“. Hänge dein Volume an.
- Wähle eine GPU. Ich empfehle eine RTX 5090. Eine RTX 4500 funktioniert, ist aber langsam.
- Warte auf den ersten Start, 10–15 Minuten, während die Modelle heruntergeladen werden. Spätere Starts auf demselben Volume sind deutlich schneller.
Optional, aber empfohlen: Die offiziellen LTX-2.5-Gewichte auf Hugging Face sind lizenzgesperrt. Akzeptiere die Lizenz auf der Modellseite, erstelle in deinen Hugging-Face-Einstellungen ein Lese-Token und füge es dem Pod als Umgebungsvariable HF_TOKEN hinzu. Ohne es greift das Template auf einen öffentlichen Mirror zurück, aber anonyme Downloads sind ratenbegrenzt, und der Download von 40+ GB kann zum Schneckentempo werden.
Wenn er bereit ist, zeigt das Connect-Menü des Pods ComfyUI und JupyterLab. JupyterLab sagt manchmal „initializing“, wenn es schon funktioniert, also öffne es einfach.
Der Workflow
Das Template installiert einen Workflow in die Workflows-Seitenleiste von ComfyUI: ltx2-5_long_video_workflow. An der Oberfläche sieht er einfach aus; die Mechanik steckt in einem Subgraph, den du per Doppelklick öffnen kannst. Du musst sie nicht anfassen. Die Nodes, die du einstellst, sind die rot umrandeten.
1. Eingaben
Lade dein Voiceover und dein Porträt in die beiden roten Eingabe-Nodes. Lade ComfyUI nach dem Hochladen einer neuen Datei über JupyterLab neu, damit sie in den Dropdowns erscheint.
2. Prompt
Der Workflow kommt mit einem neutralen Talking-Head-Prompt: Die Person spricht und blickt ohne seltsame Bewegungen in die Kamera. Du kannst einen eigenen schreiben, aber der Standard funktioniert für Videos im Moderatorenstil.
3. Auflösung
Der Auflösungs-Node arbeitet in Megapixeln, mit einem Seitenverhältnis. Ich habe meist Quadrate mit 0,9 Megapixeln gerendert. Wenn du immer im Breitbildformat renderst, ändere es einmal und speichere den Workflow, oder schalte die Megapixel-Option aus und gib exakte Abmessungen ein.
Die Auflösung wirkt sich auf den Mund stärker aus als alles andere. Bei etwa 500 × 500 und sogar bei 600 oder 700 Pixeln im Quadrat sinkt die Qualität auf eine bestimmte Weise: Die Lippen kleben zusammen, und der Mund bewegt sich kaum. 0,9 Megapixel sind für mich der Sweet Spot. Höher sieht noch besser aus, dauert aber länger.
Wie das Gesicht konsistent bleibt
LTX-2.5 kann nur etwa 10–12 Sekunden auf einmal erzeugen. Geht man weiter, driftet es in Glitches. Deshalb macht der Workflow drei Dinge.
Das erste und das letzte Frame sind immer dein Porträt. Jeder Abschnitt beginnt und endet auf demselben Bild mit demselben neutralen Ausdruck. Der Avatar spricht, kehrt zum Neutralen zurück und beginnt von vorn, was für einen Moderator natürlich wirkt. Weil beide Enden fest sind, kann das Gesicht über ein langes Video nicht driften. (Andere letzte Frames sind möglich, aber dann machst du einen Film, was eine andere Aufgabe ist.)
Das Audio wird an Pausen geschnitten. Der Node Split Audio Chunk sucht Lücken in der Sprache und schneidet dort, mit dem Ziel von 8 Sekunden, nie kürzer als 3 oder länger als 12. Eine Strecke von 7 Sekunden zwischen zwei Pausen wird ein Abschnitt von 7 Sekunden.
Ein Skript fügt es wieder zusammen. Die „image“-Ausgabe im Workflow ist irreführend: Das Ergebnis ist ein Video. Ein mitgeliefertes Stitching-Skript fügt die Abschnitte zusammen, schneidet das zusätzliche Frame ab, das LTX jedem hinzufügt (sonst verschiebt sich das Audio über 7 Minuten um etwa 2 Sekunden), und legt dein Original-Audio über das Ergebnis statt der Rekonstruktion des Modells.
Ein Artefakt solltest du kennen: An jedem Übergang ändert sich das Rauschmuster leicht. Es ist sichtbar, wenn man danach sucht. Für Moderatorenvideos konnte ich damit leben, aber es ist das Hauptthema, bei dem MiniMax H3 sich verbessert hat.
Ausgabe und Dateinamen
Alles landet in ComfyUIs output-Ordner: ein Ordner mit Abschnitten und das fertige Video. Standardmäßig wird der Name deiner Audiodatei sowohl zum Projektordner als auch zum Namen des fertigen Videos, sodass avatar-female-2.mp3 dir einen Abschnittsordner avatar-female-2 und ein passendes fertiges Video gibt. Wenn du hundert Dateien renderst, ist das viel einfacher als nummerierte Sitzungen. Wenn du Sitzungen lieber selbst benennst, trenne die Namenseingabe und tippe einen Sitzungsnamen ein.
Ausführen, und was bei einem Stocken zu tun ist
Reihe mit Run (Instant) ein und lass die Konsole offen: Sie meldet, wie viele Abschnitte es gibt und bei welchem es gerade ist. Der erste Abschnitt dauert länger, während die Modelle laden.
Lange Renders stoppen manchmal ohne erkennbaren Grund. Bei mir geschah das irgendwo zwischen zwei und sechs Stunden nach Beginn eines Auftrags. Die Lösung:
- Öffne den ComfyUI-Manager und klicke auf Restart.
- Lade ComfyUI in deinem Browser neu.
- Reihe erneut ein. Fertige Abschnitte werden übersprungen, sodass es dort weitermacht, wo es aufgehört hat.
Dasselbe Fortsetzen funktioniert am nächsten Tag oder auf einem anderen Pod: Hänge dasselbe Network Volume an und reihe erneut ein.
Fehler, die du vermeiden solltest
- Auflösung zu niedrig. Unter etwa 0,9 Megapixeln leidet zuerst die Mundbewegung.
- Eine riesige Datei. Halte Voiceovers auf etwa 30 Minuten pro Auftrag.
- Kein Hugging-Face-Token. Der Download funktioniert ohne, aber langsam.
- Einen hängenden Render aufgeben. Neu starten, neu laden und erneut einreihen; nichts geht verloren.
Der Template-Link ist ein RunPod-Empfehlungslink, ebenso dieser hier: Neue Konten, die sich mit Google anmelden, erhalten nach ihren ersten 10 $ ein Guthaben von 5–500 $, und ich bekomme eine kleine Provision.
Die Videoversion ansehen (11:36)
Alles oben steht auch im Video, falls du lieber am Bildschirm mitmachst. Das Video ist auf Englisch.
Häufige Fragen
Wie lang kann ein LTX-2.5-Talking-Avatar-Video sein?
Eine LTX-2.5-Generierung ist auf etwa 10–12 Sekunden begrenzt, aber der Workflow schneidet dein Voiceover in Abschnitte und fügt sie zusammen, sodass die Eingabe bis zu etwa 60 Minuten lang sein kann. Teile bei sehr langen Videos das Audio in Teile von etwa 30 Minuten.
Welche Auflösung sollte ich für LTX-2.5-Lippensynchronisation nutzen?
Etwa 0,9 Megapixel. Unter etwa 700 × 700 sinkt die Qualität: Die Lippen beginnen zusammenzukleben, und der Mund bewegt sich kaum. Höher sieht besser aus, rendert aber langsamer.
Welche GPU brauche ich?
Ich empfehle eine RTX 5090 mit 32 GB VRAM. Die README des Templates nennt 48-GB-Karten komfortabel und 24 GB bei mittleren Auflösungen mit den int8-Dateien, die es herunterlädt, als machbar.
Warum stoppt mein langer Render nach ein paar Stunden?
Mir passierte das nach zwei bis sechs Stunden. Starte ComfyUI über den Manager neu, lade den Browser neu und reihe erneut ein: Der Auftrag macht beim letzten fertigen Abschnitt weiter.
Anton Tenitsky ist 3D-Artist mit mehr als 15 Jahren Erfahrung in der Computergrafik, tätig für Nickelodeon, Gameloft, Marvel Rivals und viele weitere Kunden. Mehr über mich