# Hoe werkt AI videogeneratie? Van ruis naar beweging

URL: https://auxworld.app/nl/journal/hoe-werkt-ai-videogeneratie
Type: blog
Locale: nl
Published: 2026-08-04
Updated: 2026-08-11

---

> Het is geen frame-voor-frame animatie. AI videogeneratie begint met ruis en verwijdert die stap voor stap totdat coherente beweging overblijft. Dit is wat je moet weten.

## Hoe werkt AI videogeneratie? Van prompt naar beweging

AI videogeneratie zet een tekstprompt of afbeelding om in frames door een iteratief denoisingproces. Het model begint met pure ruis, verwijdert die stap voor stap totdat coherente video overblijft. Het werkt niet frame voor frame sequentieel. In plaats daarvan ontnoiseert het duizenden pixels tegelijk, gestuurd door je prompt, in 20 tot 50 denoisingstappen. Dat onderscheid is essentieel als je interactieve werelden erop gaat bouwen.

Ik heb vorige maand twaalf omgevingsvariaties door drie verschillende motors gestuurd voor een walking-sim project. Dit is wat ik leerde over hoe de motor echt draait.

## Wat je prompt eigenlijk activeert

Je tekstprompt gaat niet naar een camera. Die wordt omgezet in een numerieke representatie: een conditioning vector die het denoisingproces van begin tot eind stuurt.

Een taalencoder parseert je prompt eerst in semantische embeddings. Die embeddings sturen een diffusiemodel, dat een veld van willekeurige Gaussische ruis progressief ontnoiseert over 20 tot 50 denoisingstappen. Elke stap producteert een iets scherpere voorspelling van hoe de eindvideo eruit moet zien.

De video wordt niet op volledige resolutie gegenereerd tijdens dit proces. Moderne motors werken eerst in samengeperste latent space, een lagerdimensionale representatie van de video die computekosten dramatisch vermindert. Een variationale autoencoder vouwt de latent video pas aan het einde terug uit naar pixelruimte.

Dit is waarom een 30-secondeclip op hetzelfde platform ongeveer 10 keer meer kost dan een 3-secondeclip. Duur vergroot je latent space, en het werk van het model schaalt mee.

Een tweede implicatie: je promptwoorden zijn geen instructies. Het zijn waarschijnlijkheden. Het model leerde statistische verbanden tussen taal en visuele patronen van miljoenen trainingsvideos. Als je typt 'een mistige Detroit jazz club uit de jaren 1920 waar de barman een robot is', activeer je een cluster van geleerde correlaties, geen blauwdruk. Twee identieke prompts produceren twee verschillende outputs. Dat is geen bug. Dat is de denoisingstochasticiteit die werkt zoals ontworpen.

![Creatieve technoloog aan een donker werkstation met meerdere schermen die abstracte wiskundige ruisvelden tonen die in beeldvorming veranderen](https://fdzlnqpwsaniezitwiuw.supabase.co/storage/v1/object/public/cms-media/auxworld/2026-08/638f24-inline1.webp)

## Waarom diffusie alles anders heeft gewonnen

Drie benaderingen concurreerden om de standaard te worden in AI videogeneratie: autoregressive modellen, GANs, en diffusiemodellen.

Autoregressive modellen voorspelden video één token tegelijk, zoals een taalmodel tekst genereert. Theoretisch coherent, maar traag, en ruimtelijke consistentie was moeilijk op schaal. GANs zetten een generator tegen een discriminator in een adversariale trainingsloop. Snelle inferentie, maar notoir instabiel om te trainen en gevoelig voor mode collapse. Diffusiemodellen begonnen met ruis en leerden die iteratief te verwijderen. Aanvankelijk tragere inferentie dan GANs, maar ze schaalden voorspelbaar met compute. Die schaalbaarheid won het argument.

De architectuurupgrade die de huidige generatie definieerde gebeurde in 2023 toen onderzoekers de U-Net backbone in latente diffusie vervingen door een transformer die op patches werkt. Dat paper is de architecturale voorouder van elke serieuze videomotor in productie vandaag, inclusief Veo 3, Sora 2, en Kling 2.6.

Een Diffusion Transformer, of DiT, snijdt video in spatiotemporele patches, vlakt die af in een reeks, en voert transformer attention uit over die reeks globaal. Omdat attention over alle patches tegelijk werkt, handhaaft het model ruimtelijke coherentie veel beter dan convolutionele benaderingen. De tradeoff is kwadratische kosten: twee keer zoveel frames vereisen vier keer zoveel attentiecompute. Dit is de structurele beperking die een enkele DiT verhindert tien minuten video te genereren zonder aanvullende architectuurveranderingen.

De praktische uitkomst van deze architectuur: 8 tot 20 seconden video met plausibele fysica, consistente verlichting, en coherente beweging, wanneer omstandigheden gunstig zijn. Twee jaar geleden betekende AI video vijf-secondeclips met smeltende handen en drijvende meetkunde. De architectuurshift is waarom dat veranderde.

## Tekst erin, afbeelding erin, video erin: drie verschillende weddenschappen

De meeste motors accepteren nu drie invoermodi. Ze produceren betekenisvol verschillende resultaten voor iedereen die wereldomgevingen bouwt.

Tekst-naar-video biedt maximale creatieve vrijheid en minimale controle. Je beschrijft een scène, het model genereert alles, en kleine promptvariaties kunnen wilde verschillen produceren. Goed voor het snel verkennen van visuele stijlen of conceptomgevingen genereren. Moeilijk om consistentie over meerdere shots te handhaven.

Afbeelding-naar-video begint met een stilstaand frame als visueel anker. Het model genimeert vooruit vanuit die referentie, behoudt het exacte uiterlijk van de bron. Dit is vandaag het meest controleerbare pad beschikbaar. De workflow is praktisch: genereer een keyframe met een high-quality beeldmodel, animeer het vervolgens. Je krijgt consistente visuele taal, gecontroleerde compositie, en beweging gelaagd op een stabiele basis.

Video-naar-video transformeert een bestaande clip, verandert stijl, bewegingsintensiteit, of omgevingsdetails terwijl de originele structuur behouden blijft. Nuttig voor het nabewerken van gegenereerde omgevingen in plaats van ze vanaf nul te genereren.

Voor iedereen die interactieve omgevingen bouwt: afbeelding-naar-video is je snelste pad naar een herhaalbaar resultaat. Tekst-naar-video is voor de verkenningsfase, voordat je je aan een visuele taal vastlegt.

![Close-up van een toetsenbord met gloeiende toetsen, abstract geanimeerd landschap dat wordt gegenereerd vanuit een prompt op scherm erachter](https://fdzlnqpwsaniezitwiuw.supabase.co/storage/v1/object/public/cms-media/auxworld/2026-08/9e9f21-inline2.webp)

## De coherentieklif waarvan niemand je waarschuwt

Elke DiT-gebaseerde motor heeft een coherentieplafond. Het verschijnt ergens tussen 8 en 20 seconden gegenereerde video. Daarvoor blijft fysica intact, het onderwerp blijft consistent, de camerabewegingen lezen als opzettelijk. Daarna verschijnen temporele artefacten: een hand die gedurende een beweging van vorm verandert, een achtergrond die tussen frames verschuift, een gezicht dat naar een ander lichaam drijft.

Dit is geen kwaliteitsfalen. Het is een structurele beperking van kwadratische attention. Het handhaven van globale temporele context wordt exponentieel duurder naarmate de duur toeneemt. Huidige productionmotors kunnen coherentie voor clips in het 10-tot-20-secondenbereik op hoge kwaliteit handhaven. Voorbij dat plafond hebben zelfs de beste motoren architectuurworkarounds nodig zoals sliding window attention, wat de volledige temporele context in overlappende chunks breekt op kosten van globale coherentie.

Voor world-building pipelines is de implicatie direct: genereer korte clips, stitch ze opzettelijk, en gebruik een consistente referentieafbeelding om visuele continuïteit over shots te handhaven. Een enkele prompt geeft je geen coherente twee minuten omgevingsreeks. De motoren die dat beweren middelen over vele mislukte pogingen die je niet ziet.

De workaround die in productie standhoudend werkt: behandel elke gegenereerde clip als één tegel in een groter mozaïek. Definieer een keyframeafbeelding als het visuele anker, genereer 5-tot-8-secondeclips van dat anker, en assembleer ze. Langzamer dan een enkele generatie. Ook de enige benadering die een coherente gamescène produceert in plaats van een driftartefact.

## Waar worldgeneratie divergeert van flat video

Standaard AI videogeneratie produceert passieve video: een reeks frames die je alleen kunt kijken. Interactieve worldgeneratie vraagt iets waarvoor de flat-video pipeline niet was ontworpen: kan de ruimte reageren op wat de speler doet?

De kloof is architecturaal. Een flat-videomotor genereert een vaste tensor van frames. Een world model moet een latent space genereren dat navigeerbaar, forkbaar, en responsief op spelinvoer blijft.

Dit vereist training op geheel ander data. Flat-videomotors trainen op film, televisie, en gemaakte beelden. World models trainen op gameplay beelden, fysicasimulaties, en first-person navigatiedata. Onderzoeksprojecten zoals Google's Genie en Meta's WorldGen volgen beide deze benadering, behandelen de omgeving als een world model in de reinforcement-learning zin in plaats van een videopredictieprobleem.

Het praktische verschil is concreet. In een flat-videotool kun je niet naar links gaan wanneer de gegenereerde camera naar rechts beweegt. In een world-generation motor zijn links en rechts beide geldige vervolgingen van dezelfde modelstatus. De motor genereert het gevolg van je actie, niet alleen het volgende voorspelde frame.

Sla flat-videotoolsover als wat je nodig hebt een traverseerbare ruimte is. Ze produceren filmmateriaal dat eruit ziet als een wereld. Het zal zich niet als één gedragen.

## Open weights, gesloten API's, en wat dat gat echt kost

Twee ecosystemen hebben zich rond AI videogeneratie gevormd, en ze dienen verschillende types creators.

Gesloten commerciële API's inclusief Sora 2, Veo 3, Kling, en Runway bieden betere kwaliteit aan het hoge einde en eenvoudig toegang tegen per-secondeprijzen. Open-weight releases inclusief WAN 2.0, HunyuanVideo, en CogVideoX bieden volledige controle en geen terugkerende kosten, maar vereisen echte GPU-infrastructuur om te draaien.

De kwaliteitsverschil tussen de twee tiers is aanzienlijk vernauwd sinds begin 2025. Voor een solo-maker zonder datacentrum maken de gesloten API's praktisch nut. Open weights maken nut voor fine-tuning op een specifiek wereld-esthetiek, of voor pipelines op grote schaal waar per-secondeprijzen snel in een echt budgetprobleem opbouwen.

Één getal waard om bij te houden voordat je je aan een pipeline vastlegt: generatiekosten per bruikbare seconde. Gesloten API's gemiddeld momenteel $0,05 tot $0,20 per gegenereerde seconde afhankelijk van resolutie en model. Bij 5 seconden per omgevingstegel en 40 tegels voor een kort spel, dat is $10 tot $40 in generatiekosten vóór enige curatie of hertakingen. Inclusief een 30 procent faalpercentage op generaties die niet aan kwaliteitsstandaarden voldoen, en het reële getal klimt.

Begroting voordat je genereert. De kostenstructuur van videogeneratie is niet als beeldgeneratie, waar mislukte pogingen goedkoop zijn. Elke slechte take kost echt krediet.

![Overhead weergave van een monitor met een procedureel gegenereerd 3D landschap met bergen en bossen, indie game developer werkplek](https://fdzlnqpwsaniezitwiuw.supabase.co/storage/v1/object/public/cms-media/auxworld/2026-08/fb99ec-inline3.webp)

## Welke motor past bij wat jij vanavond bouwt

Als je nog nooit een videogeneratiepi-peline hebt gedraaid: begin met afbeelding-naar-video. Genereer één keyframe voor je wereld met een sterk beeldmodel, animeer het vervolgens. Dit geeft je onmiddellijke feedback over bewegingskwaliteit zonder credits te verspillen aan mislukte tekst-naar-video pogingen.

Als je een omgevingspipeline voor een speelbaar spel bouwt: koppel een high-quality beeldmodel voor framegeneratie aan een videomotor voor beweging. Tekst-naar-video is voor verkenning. Afbeelding-naar-video is voor productie. De twee fasen zijn uniek, en ze verwarren beide verspilt tijd en budget.

Als je een ruimte wilt die op spelinvoer reageert in plaats van filmmateriaal dat er één afbeeldt: de flat-videotoolszullen je er niet halen. De kloof tussen video die eruit ziet als een wereld en een wereld waar je doorheen kunt bewegen is geen prompting-probleem. Het is een model-architectuurprobleem. De motors die specifiek voor interactieve output zijn gebouwd trainen op navigatiedata in plaats van filmmateriaal en genereren responsieve status in plaats van vaste frames.

Je prompt is al een plek. Of het stilstaat of blijft bewegen is een vraag welke motor je het doorheen stuurt.

## FAQ

### Waarom kost videogeneratie meer dan beeldgeneratie?

Omdat duur je latent space vergroot en het werk van het model schaalt mee. Een 30-secondeclip vereist ongeveer 10 keer meer compute dan een 3-secondeclip op dezelfde motor. Optellen: het duurt ook veel langer.

### Wat is die coherentieklif van 8-20 seconden?

Diffusion Transformers werken met kwadratische attentionkosten. Na ~20 seconden kan het model globale temporele context niet meer handhaven, dus artefacten verschijnen: drijvende gezichten, vormveranderingen, onwaarschijnlijke fysica. Dit is niet om te fixen met betere prompts. Het is architecturaal.

### Moet ik tekst-naar-video of afbeelding-naar-video gebruiken?

Tekst-naar-video voor verkenning en concept. Afbeelding-naar-video voor productie. Genereer een keyframe met een sterk beeldmodel, animeer het daarna. Dit geeft je controle en consistentie zonder je creditbudget leeg te spuiten aan variaties.

### Kunnen AI videomotors werelden genereren die je kunt verkennen?

Standaard AI videogeneratie produceert passieve video. Voor interactieve worldgen moet je motors gebruiken die op gameplay-data zijn getraind (Google Genie, Meta WorldGen). Die genereren responsieve latent space, niet alleen vaste frames.

### Wat is goedkoper: open-weight modellen of gesloten API's?

Open weights hebben geen per-secondekosten maar vereisen GPU-infrastructuur. Gesloten API's kosten $0,05–$0,20 per gegenereerde seconde. Voor solo-makers is closed API praktisch. Voor schaal is open weights voordeliger als je GPU kost can dekken.