OpenAI shows off Sora, a really realistic artificial intelligence video creator
AI video maker from OpenAI, Sora, shows off even though it hasn't been officially released yet. (OpenAI)
-- Even though OpenAI has not officially released it, Sora, an artificial intelligence (AI) video creation platform, has been revealed to be capable of making videos that are truly realistic, like those recorded by a camera.
"Meet Sora, our text-to-video model. Sora can create videos up to 60 seconds long featuring highly detailed scenes, complex camera movements, and lots of characters with vivid emotions," tweeted OpenAI, the artificial intelligence company led by Sam Altman , on his Twitter account.
In the upload, OpenAI shows a video of Tokyo, Japan, in the middle of snow and filled with cherry blossoms. The appearance is very realistic, like recording using a drone camera with high resolution.
It is acknowledged that the video was created using just a paragraph command (prompt).
"The beautiful, snowy city of Tokyo is busy. The camera moves through the busy city streets, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. "Beautiful cherry blossom petals flutter in the wind with snowflakes," the video prompt reads.
In a post on its blog on Wednesday (14/2), OpenAI said Sora was able to produce a video of a maximum of 60 seconds from text instructions, with the ability to present scenes with multiple characters, certain types of movement, and detailed background details.
"The model (Sora) understands not only what the user asks for in a prompt, but also how those things exist in the physical world," according to the company.
OpenAI said it intends to train AI models so they can "help people solve problems that require real-world interaction."
Sora is the latest effort from the company that owns the viral chatbot ChatGPT to continue pushing forward the progress of generative AI.
Even though 'multi-modal models' are nothing new and other text-to-video models have existed before, Reece Hayden, senior analyst at market research firm ABI Research, reported by CNN, admitted that Sora has advantages in terms of duration and accuracy.
Hayden said this kind of AI model could have a major impact on the digital entertainment market with new, personalized content streamed across channels.
"One obvious use case is in TV; creating short scenes to support a narrative," he explains, "The model is still limited, but it shows where the market is headed."
OpenAI admitted Sora is still a work in progress with clear "weaknesses," particularly when it comes to the spatial details of a prompt. Namely, mixing left and right prompts, as well as cause and effect.
For example, a video of someone biting into a cake but there is no bite mark afterwards.
For now, OpenAI remains focused on security issues. The company plans to work with a team of experts to test the latest model and look closely at areas including misinformation, hate content and bias.
OpenAI is also building tools to help detect misleading information.
While there is no official public release date yet, Sora will first be available to cybersecurity professors, so-called "red teamers," who can assess the dangers or risks of a product.
It also gives access to a range of visual artists, designers and filmmakers to gather input on how creative professionals can use it.
The latest update comes as OpenAI continues to advance ChatGPT. Earlier this week, the company said it was testing a feature where users could control ChatGPT memory.
This allows them to ask the platform to remember the chat to make future conversations more personal or tell it to forget what was previously discussed.
OpenAI Pamer Sora, Kecerdasan Buatan Kreator Video Realis Banget
AI pembuat video dari OpenAI, Sora, unjuk gigi meski belum dirilis resmi. (OpenAI)
-- Meski belum resmi dirilis OpenAI, Sora, platform kecerdasan buatan (AI) pembuat video, terungkap punya keandalan membuat video yang beneran realistis bak hasil rekaman kamera.
"Perkenalkan Sora, model teks-ke-video kami. Sora dapat membuat video berdurasi hingga 60 detik yang menampilkan adegan yang sangat detail, gerakan kamera yang rumit, dan banyak karakter dengan emosi yang hidup," kicau OpenAI, perusahaan kecerdasan buatan pimpinan Sam Altman, di akun Twitter-nya.
Dalam unggahan tersebut, OpenAI menampilkan video suasana Tokyo, Jepang, di tengah musim salju dan diramaikan dengan bunga sakura. Tampilannya amat realistis bak rekaman menggunakan kamera drone dengan resolusi tinggi.
Video itu diakui tercipta cuma dengan menggunakan perintah (prompt) separagraf.
"Kota Tokyo yang indah dan bersalju tengah ramai. Kamera bergerak melalui jalanan kota yang sibuk, mengikuti beberapa orang yang menikmati indahnya cuaca bersalju dan berbelanja di kios-kios terdekat. Kelopak bunga sakura yang indah beterbangan tertiup angin bersama butiran salju," demikian bunyi prompt video tersebut.
Dalam unggahan di blognya pada Rabu (14/2), OpenAI mengatakan Sora mampu menghasilkan video berdurasi maksimal 60 detik dari instruksi teks, dengan kemampuan menyajikan adegan dengan banyak karakter, jenis gerakan tertentu, dan detail latar belakang yang mendetail.
"Model tersebut (Sora) memahami tidak hanya apa yang diminta pengguna dalam prompt, tetapi juga bagaimana hal-hal tersebut hadir di dunia fisik," menurut perusahaan.
OpenAI mengatakan pihaknya bermaksud untuk melatih model AI sehingga dapat "membantu orang memecahkan masalah yang memerlukan interaksi di dunia nyata."
Sora merupakan upaya terbaru dari perusahaan pemilik chatbot ChatGPT yang viral itu buat terus mendorong kemajuan AI generatif.
Meski 'multi-modal models' bukanlah hal baru dan model text-to-video lainnya sudah hadir lebih dulu, Reece Hayden, analis senior di firma riset pasar ABI Research, melansir CNN, mengakui Sora memiliki keunggulan berupa durasi dan akurasi.
Hayden mengatakan model AI semacam ini dapat berdampak besar pada pasar hiburan digital dengan konten baru yang dipersonalisasi yang dialirkan ke seluruh saluran.
"Salah satu kasus penggunaan yang jelas ada di TV; membuat adegan pendek untuk mendukung narasi," jelas dia, "Modelnya masih terbatas, tapi menunjukkan arah pasar."
OpenAI mengakui Sora masih dalam proses pengembangan dengan "kelemahan" yang jelas, terutama dalam hal detail spasial dari sebuah prompt. Yakni, pencampuran prompt kiri dan kanan, serta sebab dan akibat.
Contohnya, video seseorang yang sedang menggigit kue tetapi tidak ada bekas gigitan setelahnya.
Untuk saat ini, OpenAI tetap fokus pada masalah keamanan. Perusahaan berencana untuk bekerja dengan tim ahli untuk menguji model terbaru dan mencermati berbagai bidang termasuk misinformasi, konten kebencian, dan bias.
OpenAI juga sedang membangun alat untuk membantu mendeteksi informasi yang menyesatkan.
Belum ada tanggal resmi perilisannya buat publik, Sora pertama-tama akan tersedia bagi para profesor keamanan siber, yang disebut "petugas tim merah," yang dapat menilai bahaya atau risiko suatu produk.
Hal ini juga memberikan akses kepada sejumlah seniman visual, desainer, dan pembuat film untuk mengumpulkan masukan tentang bagaimana para profesional kreatif dapat menggunakannya.
Pembaruan terbaru hadir seiring OpenAI terus memajukan ChatGPT. Awal pekan ini, perusahaan mengatakan sedang menguji fitur di mana pengguna dapat mengontrol memori ChatGPT.
Ini memungkinkan mereka meminta platform untuk mengingat obrolan untuk membuat percakapan di masa depan lebih personal atau menyuruhnya melupakan apa yang telah dibahas sebelumnya.