Wie KI-Videogenerierung funktioniert: Diffusion erklärt

Wie funktioniert KI-Videogenerierung?

KI-Videogenerierung funktioniert nicht wie animieren. Sie startet mit reinem Rauschen, das sie Schritt für Schritt entrauscht, bis ein Video entsteht. Das Modell verarbeitet nicht Bild für Bild. Stattdessen entrauscht es Tausende Pixel parallel, gesteuert von deinem Prompt, in 20 bis 50 Schritten pro Generation.

Das ist der Unterschied, der zählt, wenn du interaktive Welten darauf aufbaust.

Ich habe letzten Monat zwölf Umgebungsvarianten durch drei verschiedene Engines getestet für ein Walking-Sim-Projekt. Das ist, was ich über die tatsächliche Funktionsweise gelernt habe.

Das, was der Prompt wirklich auslöst

Dein Text-Prompt geht nicht direkt an eine Kamera. Er wird in eine numerische Darstellung umgewandelt – einen sogenannten Conditioning-Vektor – der den Entrauschungsprozess von Anfang bis Ende steuert.

Ein Language-Encoder übersetzt deinen Prompt zunächst in semantische Embeddings. Diese Embeddings steuern ein Diffusionsmodell, das ein Feld aus zufälligem Gaußschen Rauschen nimmt und es über 20 bis 50 Entrauschungsschritte progressiv abbaut. Jeder Schritt erzeugt eine leicht bessere Vorhersage davon, wie das finale Video aussehen soll.

Das Video wird nicht die ganze Zeit in voller Auflösung erzeugt. Moderne Engines arbeiten zuerst im komprimierten Latent-Space – einer niedrigerdimensionalen Darstellung des Videos, die die Rechenkosten drastisch senkt. Ein Variational Autoencoder erweitert das Latent-Video am Ende wieder auf Pixel-Raum.

Diese Architektur erklärt, warum ein 30-Sekunden-Clip auf derselben Plattform ungefähr zehnmal mehr kostet als ein 3-Sekunden-Clip. Die Dauer skaliert den Latent-Space, und die Arbeit des Modells skaliert mit ihm.

Ein zweite Implikation: Deine Prompt-Wörter sind keine Befehle. Sie sind Wahrscheinlichkeiten. Das Modell hat statistische Verbindungen zwischen Sprache und visuellen Mustern aus Millionen von Trainingsvideos gelernt. Wenn du schreibst ein neblig-düsterer Jazz-Club aus den 1920ern in Detroit mit einem Roboter als Barkeeper, aktivierst du ein Cluster gelernter Korrelationen, keine Baupläne. Zwei identische Prompts erzeugen zwei unterschiedliche Ausgaben. Das ist kein Bug. Das ist die Entrauschungs-Stochastik wie beabsichtigt.

Warum sich Diffusion durchgesetzt hat

Drei Ansätze konkurrierten um den Standard in der KI-Videogenerierung: autoregressive Modelle, GANs und Diffusionsmodelle.

Autoregressive Modelle sagten Video Token für Token voraus, wie ein Language-Model Text erzeugt. Kohärent im Prinzip, aber langsam, und räumliche Konsistenz war schwer zu bewahren. GANs setzten einen Generator gegen einen Diskriminator in einem adversarialen Training-Loop auf. Schnelle Inferenz, aber notorisch instabil zu trainieren und anfällig für Mode-Collapse. Diffusionsmodelle starteten mit Rauschen und lernten, es iterativ abzubauen. Langsamere Inferenz als GANs am Anfang, aber sie skalieren vorhersehbar mit mehr Rechenkapazität. Diese Skalierbarkeit hat das Rennen entschieden.

Das Architektur-Upgrade, das die aktuelle Generation definierte, passierte 2023, als Forscher den U-Net-Backbone in latenter Diffusion durch einen Transformer ersetzten, der auf Patches arbeitet. Das ist die architektonische Vorfahrin jeden ernsthaften Video-Modells in der Produktion heute, inklusive Veo 3, Sora 2 und Kling 2.6.

Ein Diffusion Transformer, oder DiT, schneidet Video in spatiotemporale Patches, flacht sie in eine Sequenz ab und führt Transformer-Attention über diese Sequenz global aus. Weil Attention auf allen Patches auf einmal arbeitet, behält das Modell räumliche Kohärenz viel besser bei als konvolutionale Ansätze. Der Tradeoff ist quadratischer Aufwand: Doppelte Frames brauchen vierfache Attention-Berechnung. Das ist die strukturelle Einschränkung, die verhindert, dass ein einzelner DiT zehnminütige Videos ohne zusätzliche architektonische Änderungen erzeugt.

Das praktische Ergebnis dieser Architektur: 8 bis 20 Sekunden Video mit plausibler Physik, konsistenter Beleuchtung und kohärenter Bewegung, wenn die Bedingungen stimmen. Vor zwei Jahren bedeutete KI-Video fünfsekündige Clips mit zerfließenden Händen und verschwimmender Geometrie. Der Architektur-Wechsel erklärt, warum das sich ändert hat.

Text rein, Bild rein, Video rein: drei verschiedene Wetten

Die meisten Engines akzeptieren jetzt drei Input-Modi. Sie erzeugen bedeutend unterschiedliche Ergebnisse für jeden, der Umgebungs-Pipelines baut.

Text-to-Video bietet maximale kreative Freiheit und minimale Kontrolle. Du beschreibst eine Szene, das Modell erzeugt alles, und kleine Prompt-Variationen können drastisch unterschiedliche Ergebnisse erzeugen. Gut zum Erkunden visueller Stile oder schnellem Generieren von Konzept-Umgebungen. Schwierig, um Konsistenz über mehrere Shots hinweg zu bewahren.

Image-to-Video startet von einem Still-Bild als visueller Anker. Das Modell animiert davon aus und bewahrt dabei das exakte Aussehen der Quelle. Das ist der kontrollierbarste Weg, der heute verfügbar ist. Der Workflow ist praktisch: Erzeuge einen Key-Frame mit einem hochqualitativen Bild-Modell, dann animiere ihn. Du bekommst konsistente visuelle Sprache, kontrollierte Komposition und Bewegung überlagert auf einer stabilen Basis.

Video-to-Video transformiert einen bestehenden Clip, ändert Stil, Bewegungsintensität oder Umgebungsdetails während die ursprüngliche Struktur erhalten bleibt. Hilfreich zur Nachbearbeitung erzeugter Umgebungen statt sie von Grund auf zu generieren.

Für jeden, der interaktive Umgebungen baut: Image-to-Video ist dein schnellster Weg zu wiederholbaren Ergebnissen. Text-to-Video ist die Explorationsphase, bevor du dich auf eine visuelle Sprache festlegst.

Die Kohärenzklippe, vor der niemand warnt

Jedes DiT-basierte Modell hat eine Kohärenz-Obergrenze. Sie erscheint irgendwo zwischen 8 und 20 Sekunden erzeugtes Video. Davor hält die Physik, das Subjekt bleibt konsistent, Kamerabewegungen wirken beabsichtigt. Danach erscheinen zeitliche Artefakte: eine Hand, die ihre Form während einer Bewegung ändert, ein Hintergrund, der zwischen Frames wechselt, ein Gesicht, das zu einer anderen Struktur driftet.

Das ist kein Qualitätsfehler. Das ist eine strukturelle Limitierung quadratischer Attention. Den globalen zeitlichen Kontext zu bewahren wird exponentiell teurer mit zunehmender Länge. Aktuelle Produktions-Modelle können Kohärenz für Clips im 10-bis-20-Sekunden-Bereich bei hoher Qualität aufrechterhalten. Darüber hinaus brauchen selbst die besten Engines architektonische Workarounds wie Sliding-Window-Attention, was den gesamten zeitlichen Kontext in überlappende Chunks zerlegt auf Kosten globaler Kohärenz.

Für World-Building-Pipelines ist die Implikation direkt: Erzeuge kurze Clips, füge sie absichtsvoll zusammen und benutze ein konsistentes Referenzbild um visuelle Kontinuität über Shots hinweg zu bewahren. Ein einziger Prompt wird dir keine kohärente zweiminütige Umgebungssequenz geben. Die Modelle, die das behaupten, mitteln über viele gescheiterte Versuche, die du nicht siehst.

Der Workaround, der in der Produktion hält: Behandle jeden erzeugten Clip als eine Fliese in einem größeren Mosaik. Definiere ein Key-Frame-Bild als visuellen Anker, erzeuge 5-bis-8-Sekunden-Clips von diesem Anker und baue sie zusammen. Langsamer als eine einzelne Generation. Auch der einzige Ansatz, der eine kohärente Spielszene statt eines Drift-Artefakts erzeugt.

Wo sich World-Generation vom flachen Video trennt

Standard-KI-Videogenerierung erzeugt passives Video: eine Folge von Frames, die du nur anschauen kannst. Interaktive World-Generation fragt nach etwas, wofür die Flat-Video-Pipeline nicht entworfen wurde: Kann der Space auf das reagieren, was der Spieler macht?

Die Lücke ist architektonisch. Ein Flat-Video-Modell erzeugt einen festen Tensor von Frames. Ein World-Modell muss einen Latent-Space erzeugen, der navigierbar, abzweigbar und responsiv auf Player-Input bleibt.

Das erfordert Training auf völlig anderen Daten. Flat-Video-Modelle trainieren auf Film, Fernsehen und erfasstem Filmmaterial. World-Modelle trainieren auf Gameplay-Filmen, Physik-Simulationen und First-Person-Navigations-Daten. Forschungsprojekte wie Googles Genie und Metas WorldGen nehmen diesen Ansatz, behandeln die Umgebung als ein World-Model im Reinforcement-Learning-Sinne statt als Video-Vorhersage-Problem.

Der praktische Unterschied ist konkret. Bei einem Flat-Video-Tool kannst du nicht nach links gehen, wenn die erzeugte Kamera nach rechts bewegt sich. Bei einem World-Generation-Engine sind links und rechts beide gültige Fortsetzungen des gleichen Model-States. Die Engine erzeugt die Konsequenz deiner Action, nicht nur den nächsten vorhergesagten Frame.

Überspring Flat-Video-Tools, wenn du einen durchziehbaren Space brauchst. Sie erzeugen Filmmaterial, das wie eine Welt aussieht. Es wird sich nicht wie eine verhalten.

Open Weights, geschlossene APIs und was diese Lücke wirklich kostet

Zwei Ökosysteme haben sich um KI-Videogenerierung geformt, und sie dienen unterschiedlichen Arten von Creators.

Geschlossene kommerzielle APIs inklusive Sora 2, Veo 3, Kling und Runway bieten bessere Qualität an der hohen Ende und unkomplizierten Zugang mit pro-Sekunde-Preisgestaltung. Open-Weight-Releases inklusive WAN 2.0, HunyuanVideo und CogVideoX bieten volle Kontrolle und keine wiederkehrenden Kosten, aber erfordern echte GPU-Infrastruktur zum Betreiben.

Die Qualitätslücke zwischen den zwei Ebenen hat sich seit früh 2025 beträchtlich verengt. Für einen Solo-Creator ohne Datencenter macht geschlossene APIs praktischen Sinn für finale Ausgabe. Open Weights macht Sinn zum Fine-Tunen auf eine spezifische Welt-Ästhetik oder für Pipelines im großen Maßstab, wo pro-Sekunde-Preisgestaltung schnell zu einem echten Budget-Problem zusammenwächst.

Eine Zahl, die es wert ist, zu verfolgen, bevor du dich einer Pipeline festlegst: Erzeugungskosten pro nutzbarer Sekunde. Geschlossene APIs durchschnittlich aktuell $0,05 bis $0,20 pro erzeugte Sekunde abhängig von Auflösung und Modell. Bei 5 Sekunden pro Umgebungs-Fliese und 40 Fliesen für ein kurzes Spiel, das ist $10 bis $40 in Erzeugungskosten, bevor irgendwelche Kuratierung oder Neustarts. Rechne eine 30-prozentige Fehlerrate auf Generationen, die Qualitätsstandards nicht erfüllen, und die echte Zahl klettert.

Budget, bevor du erzeugst. Die Kostenstruktur der Videogenerierung ist nicht wie Bildgenerierung, wo gescheiterte Versuche billig sind. Jeder schlechte Take kostet echte Credits.

Welche Engine passt zu dem, was du heute Nacht baust

Wenn du noch nie eine Video-Generierungs-Pipeline betrieben hast: Fange mit Image-to-Video an. Erzeuge einen einzelnen Key-Frame für deine Welt mit einem starken Bild-Modell, dann animiere ihn. Das gibt dir unmittelbare Feedback auf Bewegungs-Qualität ohne Credits auf gescheiterte Text-to-Video-Versuche auszugeben.

Wenn du eine Umgebungs-Pipeline für ein spielbares Spiel baust: Paare ein hochqualitativen Bild-Modell für Frame-Erzeugung mit einem Video-Modell für Bewegung. Text-to-Video ist Exploration. Image-to-Video ist Produktion. Die zwei Phasen sind unterschiedlich, und sie zu vermischen verschwendet Zeit und Budget.

Wenn du einen Space willst, der auf Player-Input antwortet statt nur Filmmaterial, das einen abbildet: Die Flat-Video-Tools werden dich nicht dorthin bringen. Die Lücke zwischen Video, das wie eine Welt aussieht, und einer Welt, durch die du dich bewegen kannst, ist kein Prompt-Problem. Das ist ein Model-Architektur-Problem. Die Engines, die speziell für interaktive Ausgabe gebaut sind, trainieren auf Navigations-Daten statt auf Filmmaterial und erzeugen responsive Zustände statt feste Frames.

Dein Prompt ist bereits ein Ort. Ob er noch steht oder sich weiterbewegt, ist eine Frage, welche Engine du ihn durchfütterst.