Model video AI dari Adobe sudah hadir, dan sudah ada di dalam Premiere Pro

Adobe sedang membuat loncatan ke dalam video AI generatif. Model Video Firefly perusahaan, yang telah di-teaser sejak awal tahun ini, diluncurkan hari ini di sejumlah alat baru, termasuk beberapa di dalam Premiere Pro yang akan memungkinkan kreatif untuk memperpanjang footage dan menghasilkan video dari gambar diam dan teks prompts.

Alat pertama – Generative Extend – diluncurkan dalam beta untuk Premiere Pro. Ini dapat digunakan untuk memperpanjang akhir atau awal footage yang sedikit terlalu pendek, atau melakukan penyesuaian di tengah shot, seperti untuk memperbaiki garis mata yang bergeser atau gerakan yang tidak terduga.

Klip hanya dapat diperpanjang selama dua detik, sehingga Generative Extend hanya cocok untuk penyesuaian kecil, tetapi itu bisa menggantikan kebutuhan untuk mengambil ulang footage untuk memperbaiki masalah kecil. Klip yang diperpanjang dapat dihasilkan baik pada 720p atau 1080p pada 24 FPS. Ini juga dapat digunakan pada audio untuk membantu melancarkan edit, meskipun dengan keterbatasan. Ini akan memperpanjang efek suara dan “room tone” ambien hingga sepuluh detik, misalnya, tetapi bukan dialog yang diucapkan atau musik.

Alat Generative Extend baru dalam Premiere Pro dapat mengisi celah dalam footage yang biasanya memerlukan pengambilan gambar ulang lengkap, seperti menambahkan beberapa langkah tambahan ke orang ini berjalan di sebelah mobil. Gambar: Adobe

Dua alat generasi video lainnya diluncurkan di web. Alat Text-to-Video dan Image-to-Video dari Adobe, yang pertama kali diumumkan pada bulan September, sekarang diluncurkan sebagai beta publik terbatas di aplikasi web Firefly.

Text-to-Video berfungsi secara mirip dengan generator video lain seperti Runway dan Sora milik OpenAI – pengguna hanya perlu memasukkan deskripsi teks untuk apa yang ingin mereka hasilkan. Ini dapat meniru berbagai gaya seperti film “nyata” biasa, animasi 3D, dan stop motion, dan klip yang dihasilkan dapat lebih disempurnakan menggunakan seleksi “kontrol kamera” yang mensimulasikan hal-hal seperti sudut kamera, gerakan, dan jarak pengambilan gambar.

Ini adalah beberapa pilihan kontrol kamera yang terlihat untuk menyesuaikan output yang dihasilkan. Gambar: Adobe

Image-to-Video melangkah lebih jauh dengan membiarkan pengguna menambahkan gambar referensi bersamaan dengan prompt teks untuk memberikan lebih banyak kontrol atas hasilnya. Adobe menyarankan ini dapat digunakan untuk membuat b-roll dari gambar dan foto, atau membantu memvisualisasikan pengambilan gambar ulang dengan mengunggah gambar diam dari video yang sudah ada. Contoh sebelum dan sesudah di bawah ini menunjukkan bahwa ini tidak benar-benar mampu menggantikan pengambilan gambar ulang secara langsung, namun, karena beberapa kesalahan seperti kabel yang goyang dan latar belakang yang bergeser terlihat dalam hasilnya.

Inilah klip asli… Video: Adobe

…dan inilah bagaimana Image-to-Video ‘membuat ulang’ gambaran. Perhatikan bagaimana kabel kuning goyang tanpa alasan? Video: Adobe

Anda tidak akan membuat film lengkap dengan teknologi ini dalam waktu dekat. Panjang maksimum klip Text-to-Video dan Image-to-Video saat ini adalah lima detik, dan kualitasnya mencapai 720p dan 24 frame per detik. Dibandingkan, OpenAI mengatakan bahwa Sora dapat menghasilkan video hingga satu menit “dengan mempertahankan kualitas visual dan ketaatan pada prompt pengguna” – tetapi itu belum tersedia untuk publik meskipun diumumkan beberapa bulan sebelumnya daripada alat Adobe.

Model ini terbatas untuk menghasilkan klip yang berdurasi sekitar empat detik, seperti contoh ini dari naga bayi yang dihasilkan AI yang bergerak-gerak di magma. Video: Adobe

Text-to-Video, Image-to-Video, dan Generative Extend semuanya membutuhkan sekitar 90 detik untuk dihasilkan, tetapi Adobe mengatakan sedang mengerjakan “mode turbo” untuk memotong waktu itu. Dan terbatas seperti itu mungkin, Adobe mengatakan alat-alatnya yang didukung oleh model video AI-nya “aman secara komersial” karena mereka dilatih pada konten yang gigantik software kreatif ini diperbolehkan untuk digunakan. Mengingat model dari penyedia lain seperti Runway sedang diselidiki karena diduga dilatih pada ribuan video YouTube yang disalin – atau dalam kasus Meta, mungkin bahkan video pribadi Anda – keberhasilan komersial bisa menjadi pembeda utama bagi beberapa pengguna.

Salah satu manfaat lain adalah video yang dibuat atau disunting menggunakan model video Firefly Adobe dapat disematkan dengan Kredensial Konten untuk membantu mengungkapkan penggunaan AI dan hak kepemilikan saat diterbitkan secara online. Belum jelas kapan alat-alat ini akan keluar dari beta, tetapi setidaknya mereka tersedia secara publik – yang lebih dari yang bisa kita katakan untuk generator Sora OpenAI, Movie Gen Meta, dan Veo Google.

Peluncuran video AI diumumkan hari ini di konferensi MAX Adobe, di mana perusahaan juga memperkenalkan sejumlah fitur lain yang didukung AI di seluruh aplikasi kreatifnya.