Kerja Generasi Video AI: Teknologi Diffusion Transformer

Bagaimana cara kerja generasi video AI? Ia mengubah prompt teks atau gambar menjadi frame melalui proses denoising berulang. Model dimulai dari pure noise, lalu menghilangkan noise itu langkah demi langkah hingga video koheren muncul. Bukan animasi frame by frame dalam urutan. Malahan, ia menghilangkan noise dari ribuan pixel secara bersamaan, dipandu prompt kamu, melalui 20 hingga 50 langkah per generasi. Perbedaan itu penting kalau kamu membangun dunia interaktif di atasnya.

Bulan lalu aku jalankan dua belas variasi lingkungan melalui tiga engine berbeda untuk proyek walking-sim. Ini yang aku pelajari tentang cara engine itu benar-benar berjalan.

Apa yang benar-benar dipicu prompt

Prompt teks kamu tidak diberikan ke kamera. Ia diubah menjadi representasi numerik yang disebut conditioning vector, yang mengarahkan proses denoising dari awal hingga akhir.

Language encoder pertama-tama mengurai prompt kamu menjadi semantic embeddings. Embeddings ini mengondisikan diffusion model, yang mengambil medan Gaussian noise random dan secara progresif menghilangkannya dalam 20 hingga 50 langkah denoising. Setiap langkah menghasilkan prediksi yang sedikit lebih bersih tentang apa akhirnya video itu harus terlihat.

Video tidak dihasilkan pada resolusi penuh sepanjang proses ini. Engine modern bekerja dalam compressed latent space dulu, representasi dimensi-lebih-rendah dari video yang secara dramatis mengurangi biaya komputasi. Variational autoencoder memperluas video latent kembali ke pixel space di amat akhir.

Arsitektur ini mengapa clip 30-detik biaya kira-kira 10 kali lebih banyak daripada clip 3-detik di platform yang sama. Durasi menskalakan latent space, dan kerja model berskala dengannya.

Implikasi kedua: kata-kata prompt kamu bukan instruksi. Mereka adalah probabilitas. Model belajar asosiasi statistik antara bahasa dan pola visual dari jutaan video training. Ketika kamu menulis klub jazz Detroit 1920s berkabut di mana bartender adalah robot, itu mengaktifkan cluster korelasi yang dipelajari, bukan blueprint. Dua prompt identik akan menghasilkan dua output berbeda. Itu bukan bug. Itu stochasticity denoising bekerja seperti dirancang.

Mengapa difusi menang atas semuanya

Tiga pendekatan bersaing menjadi standar dalam generasi video AI: autoregressive models, GANs, dan diffusion models.

Autoregressive models memprediksi video satu token pada waktu, seperti language model menghasilkan teks. Koheren secara prinsip, tapi lambat, dan konsistensi spasial sulit dipertahankan pada skala. GANs melawan generator melawan discriminator dalam training loop adversarial. Inference cepat, tapi terkenal tidak stabil untuk train dan rentan mode collapse. Diffusion models dimulai dari noise dan belajar menghilangkannya iteratif. Inference lebih lambat daripada GANs awalnya, tapi mereka berskala predictably dengan komputasi. Skalabilitas itu memenangkan argumen.

Upgrade arsitektur yang mendefinisikan generasi saat ini terjadi pada 2023 ketika peneliti mengganti U-Net backbone dalam latent diffusion dengan transformer yang beroperasi di patches. Paper itu adalah leluhur arsitektur dari setiap model video serius dalam produksi hari ini, termasuk Veo 3, Sora 2, dan Kling 2.6.

Diffusion Transformer, atau DiT, memotong video menjadi spatiotemporal patches, meratakan mereka menjadi urutan, dan menjalankan transformer attention di atas urutan itu secara global. Karena attention beroperasi di semua patches sekaligus, model mempertahankan coherence spasial jauh lebih baik daripada pendekatan convolutional. Trade-off adalah biaya kuadratik: memproses dua kali lebih banyak frame memerlukan empat kali komputasi attention. Ini adalah constraint struktural yang menjaga single DiT dari menghasilkan video sepuluh-menit tanpa perubahan arsitektur tambahan.

Output praktis dari arsitektur ini: 8 hingga 20 detik video dengan fisika plausibel, pencahayaan konsisten, dan gerak koheren, ketika kondisi tepat. Dua tahun lalu, video AI berarti 5-detik clips dengan tangan mencair dan geometry yang hanyut. Shift arsitektur itulah mengapa itu berubah.

Teks masuk, gambar masuk, video masuk: tiga strategi berbeda

Sebagian besar engine sekarang menerima tiga input mode. Mereka menghasilkan hasil yang sangat berbeda untuk siapa pun membangun lingkungan dunia.

Text-to-video menawarkan jangkauan kreatif maksimal dan kontrol minimum. Kamu jelaskan scene, model menghasilkan segalanya, dan variasi prompt kecil bisa menghasilkan output sangat berbeda. Bagus untuk menjelajahi style visual atau menghasilkan environment konsep dengan cepat. Sulit untuk mempertahankan konsistensi di banyak shot.

Image-to-video dimulai dari still frame sebagai visual anchor. Model menganimasikan maju dari reference itu, mempertahankan tampilan persis dari source. Ini adalah path paling terkontrol tersedia hari ini. Workflow praktis: hasilkan key frame dengan image model berkualitas tinggi, lalu animasikan itu. Kamu dapat visual language konsisten, komposisi terkontrol, dan gerak berlapis di atas base stabil.

Video-to-video mentransformasi existing clip, mengubah style, motion intensity, atau detail lingkungan sambil mempertahankan struktur original. Berguna untuk post-processing environment yang dihasilkan daripada menghasilkannya dari awal.

Untuk siapa pun membangun environment interaktif: image-to-video adalah path tercepat ke result yang repeatable. Text-to-video adalah untuk phase explorasi, sebelum kamu commit ke visual language.

Tebing koherensi yang tidak ada yang peringatkan

Setiap model berbasis DiT memiliki ceiling koherensi. Ia muncul di suatu tempat antara 8 dan 20 detik video yang dihasilkan. Sebelumnya, fisika bertahan, subject tetap konsisten, gerak kamera terbaca intentional. Sesudahnya, temporal artifacts muncul: tangan yang berubah bentuk mid-motion, background yang bergeser antar frame, wajah yang melayang ke struktur berbeda.

Ini bukan kegagalan kualitas. Ini adalah limitasi struktural dari attention kuadratik. Mempertahankan full temporal context menjadi exponentially mahal saat durasi meningkat. Model produksi saat ini dapat mempertahankan coherence untuk clips dalam range 10-hingga-20-detik dengan kualitas tinggi. Melampaui ceiling itu, bahkan engine terbaik memerlukan workarounds arsitektur seperti sliding window attention, yang memecah full temporal context menjadi chunks yang tumpang tindih dengan biaya coherence global.

Untuk world-building pipelines, implikasi langsung: hasilkan short clips, jahit mereka deliberately, dan gunakan consistent reference image untuk mempertahankan kontinuitas visual di antara shots. Single prompt tidak akan memberimu coherent dua-menit environment sequence. Model yang mengklaim sebaliknya rata-rata atas banyak failed attempts yang tidak kamu lihat.

Workaround yang terpasang dalam produksi: perlakukan setiap clip yang dihasilkan sebagai satu tile dalam mosaic yang lebih besar. Tentukan key-frame image sebagai visual anchor, hasilkan 5-hingga-8-detik clips dari anchor itu, dan assemble mereka. Lebih lambat daripada single generation. Juga satu-satunya pendekatan yang menghasilkan scene game yang koheren daripada drift artifact.

Ke mana generasi dunia menyimpang dari video datar

Generasi video AI standar menghasilkan passive video: urutan frame yang hanya bisa kamu tonton. Interactive world generation menanyakan sesuatu yang flat-video pipeline tidak dirancang untuk: bisakah space merespons apa yang pemain lakukan?

Kesenjangan itu arsitektur. Model flat-video menghasilkan fixed tensor dari frames. Model dunia harus menghasilkan latent space yang tetap navigable, forkable, dan responsive terhadap player input.

Ini memerlukan training pada data yang completely berbeda. Model flat-video train pada film, televisi, dan captured footage. Model dunia train pada gameplay footage, physics simulations, dan first-person navigation data. Proyek research seperti Google Genie dan Meta WorldGen keduanya mengambil pendekatan ini, memperlakukan environment sebagai world model dalam reinforcement-learning sense daripada video-prediction problem.

Perbedaan praktis konkret. Di flat-video tool, kamu tidak bisa jalan kiri ketika generated camera bergerak kanan. Di world-generation engine, kiri dan kanan keduanya continuations valid dari state model yang sama. Engine menghasilkan konsekuensi action kamu, bukan hanya next predicted frame.

Skip flat-video tools kalau apa yang kamu butuh adalah space yang traversable. Mereka menghasilkan footage yang terlihat seperti dunia. Itu tidak akan berperilaku seperti satu.

Bobot terbuka, API tertutup, dan apa biayanya

Dua ecosystem telah terbentuk di sekitar generasi video AI, dan mereka melayani tipe kreator berbeda.

Closed commercial APIs termasuk Sora 2, Veo 3, Kling, dan Runway menawarkan kualitas lebih baik di high end dan akses straightforward pada per-second pricing. Open-weight releases termasuk WAN 2.0, HunyuanVideo, dan CogVideoX menawarkan full control dan zero recurring cost, tapi memerlukan real GPU infrastructure untuk jalankan.

Kualitas gap antara dua tier telah mempersempit considerably sejak early 2025. Untuk solo creator tanpa data center, closed APIs membuat sense praktis untuk final output. Open weights membuat sense untuk fine-tuning pada specific world aesthetic, atau untuk pipelines menjalankan di skala di mana per-second pricing compound dengan cepat menjadi real budget problem.

Satu angka worth tracking sebelum commit ke pipeline: generation cost per usable second. Closed APIs saat ini rata-rata $0.05 hingga $0.20 per generated second tergantung resolusi dan model. Pada 5 detik per environment tile dan 40 tiles untuk short game, itu $10 hingga $40 dalam generation cost sebelum ada curation atau retakes. Sertakan 30 percent failure rate pada generations yang tidak memenuhi quality standards, dan angka real naik.

Budget sebelum kamu hasilkan. Structure biaya video generation bukan seperti image generation, di mana failed attempts murah. Setiap bad take biaya real credit.

Mesin mana yang cocok untuk apa yang kamu bangun malam ini

Kalau kamu tidak pernah jalankan video generation pipeline: mulai dengan image-to-video. Hasilkan single key frame untuk duniamu dengan image model kuat, lalu animasikan itu. Ini memberikan kamu immediate feedback pada motion quality tanpa spending credits pada failed text-to-video attempts.

Kalau kamu membangun environment pipeline untuk playable game: pasangkan image model berkualitas tinggi untuk frame generation dengan video model untuk motion. Text-to-video adalah untuk exploration. Image-to-video adalah untuk production. Dua phase berbeda, dan conflating mereka membuang keduanya waktu dan budget.

Kalau kamu ingin space yang merespons player input daripada footage yang menggambarkan satu: flat-video tools tidak akan membawamu ke sana. Gap antara video yang terlihat seperti dunia dan dunia yang bisa kamu bergerak melalui bukan prompting problem. Itu adalah model architecture problem. Engine dibangun khusus untuk interactive output train pada navigation data daripada footage dan hasilkan responsive state daripada fixed frames.

Promptmu sudah sebuah tempat. Apakah itu tetap diam atau terus bergerak adalah pertanyaan dari engine mana yang kamu masukkan itu.