Omni Model Disebut Loncatan Besar AI, Belum Ada Tolok Ukur untuk Mengukurnya

Sanseviero, yang dikenal aktif mengamati perkembangan model AI terbuka, menyebut rilisan omni model sebagai yang paling menarik sepanjang tahun ini. Ia menulis bahwa karya tersebut sangat maju dan belum ada benchmark yang mampu mengukur kapabilitas umum dari world model jenis ini. Ia juga menambahkan bahwa aspek scaling tampaknya sudah tidak lagi menjadi hambatan. Omni model sendiri merujuk pada model multimodal yang mampu menerima dan menghasilkan berbagai jenis data, mulai dari teks, gambar, audio, hingga video. Konsep ini berbeda dengan model multimodal konvensional yang umumnya hanya memahami beberapa jenis input sekaligus. Omni model dirancang untuk melakukan generasi lintas modalitas secara fleksibel, termasuk interaksi multi arah yang berkelanjutan. Pernyataan Sanseviero muncul di tengah meningkatnya perhatian industri terhadap arsitektur model generasi berikutnya.

Sejumlah kertas riset dan produk komersial mulai mengadopsi pendekatan yang lebih terpadu antara kemampuan memahami dan menghasilkan konten, sesuatu yang sebelumnya dipisahkan dalam dua kategori model yang berbeda. Salah satu karya yang relevan dengan klaim tersebut adalah NExT OMNI, sebuah paper yang dipublikasikan di arXiv dengan judul "NExT OMNI: Towards Any to Any Omnimodal Foundation Models with Discrete Flow Matching". Paper ini membahas fondasi model omnimodal generasi berikutnya yang mampu melakukan generasi lintas modalitas dan interaksi multi putaran, yang disebut sebagai komponen inti dari sistem kecerdasan buatan umum (AGI). Para penulis NExT OMNI berargumen bahwa sebagian besar model multimodal yang ada saat ini masih terkendala oleh arsitektur autoregresif. Arsitektur ini memiliki keterbatasan bawaan yang membuat keseimbangan antara kemampuan understanding dan generation sulit dicapai.

Beberapa strategi hibrida dan decoupling telah dieksplorasi, tetapi paper tersebut menunjukkan bahwa pendekatan baru diperlukan untuk mengatasi keterbatasan tersebut. Pendekatan discrete flow matching yang diusulkan dalam NExT OMNI menjadi salah satu alternatif yang tengah diuji untuk menggantikan mekanisme autoregresif. Dengan pendekatan ini, model diharapkan dapat menangani berbagai modalitas secara lebih efisien tanpa harus mengorbankan kualitas generasi. Ini adalah pergeseran teknis yang berpotensi mengubah cara model multimodal dilatih dan dijalankan. Dari sisi industri, NVIDIA telah memasukkan konsep omni model ke dalam glosarium resminya. Perusahaan tersebut mendefinisikan omni model sebagai model multimodal terpadu yang mendukung AI agen, lintas modalitas, dan AI fisik. Definisi ini menunjukkan bahwa omni model tidak hanya dipandang sebagai tren riset, tetapi juga sebagai arah pengembangan produk komersial.

Sementara itu, Google juga telah merilis produk bernama Gemini Omni yang diposisikan sebagai model multimodal yang mampu menghasilkan video, audio, gambar, dan teks dari berbagai jenis input. Sebuah ulasan dari Vuela menyebut Gemini Omni sebagai model 'create anything' dari Google. Ulasan tersebut menyoroti di mana janji tersebut benar benar berfungsi dan di mana ia mulai tidak sesuai dengan ekspektasi. Belum ada konfirmasi resmi mengenai model spesifik yang dimaksud Sanseviero dalam cuitannya. Namun pernyataannya soal "rilisan paling menarik tahun ini" mengindikasikan bahwa yang ia maksud adalah produk atau model yang baru saja diluncurkan, bukan sekadar kertas riset.

Ia juga menegaskan bahwa tidak ada benchmark yang mampu mengukur kapabilitas umum model tersebut, sebuah sinyal bahwa tolok ukur kecerdasan buatan yang ada saat ini dianggap tertinggal dari perkembangan arsitektur model. Pernyataan Sanseviero soal scaling yang "sepertinya sudah terbuka" juga menjadi perhatian tersendiri. Selama beberapa tahun terakhir, peningkatan kapasitas model AI selalu dihadapkan pada batas komputasi dan efisiensi pelatihan. Jika klaim tersebut akurat, omni model berpotensi dikembangkan ke skala yang jauh lebih besar tanpa hambatan arsitektural yang selama ini membatasi model autoregresif. Dampak potensial dari perkembangan ini tidak hanya terbatas pada riset akademis. Model yang mampu memahami dan menghasilkan berbagai modalitas secara terpadu dapat mengubah cara interaksi manusia dengan mesin.

Asisten digital, sistem kreatif, hingga perangkat robotik dapat memperoleh kemampuan baru yang sebelumnya membutuhkan kombinasi beberapa model berbeda. Di sisi lain, ketiadaan benchmark yang mampu mengukur kapabilitas model semacam ini menjadi tantangan tersendiri bagi komunitas riset. Evaluasi model AI selama ini mengandalkan tolok ukur standar untuk membandingkan performa antar model. Tanpa tolok ukur yang memadai, sulit untuk memverifikasi klaim keunggulan omni model secara objektif. Paper NExT OMNI menyebut bahwa model omnimodal generasi berikutnya akan memainkan peran penting dalam interaksi manusia mesin dan menjadi komponen inti sistem AGI. Meski target AGI masih menjadi perdebatan di kalangan peneliti, arah pengembangan ini menunjukkan bahwa industri bergerak menuju model yang lebih holistik dalam memproses informasi. Perbedaan pendekatan antara pemahaman dan generasi juga menjadi isu sentral dalam transisi menuju omni model.

Kebanyakan model saat ini dirancang khusus untuk salah satu tugas tersebut. Model pemahaman dilatih untuk mengekstrak makna dari input, sementara model generasi dilatih untuk memproduksi output baru. Omni model mencoba menggabungkan keduanya dalam satu arsitektur. Kombinasi ini menghadirkan kompleksitas teknis baru. Model harus mampu memahami konteks dari berbagai modalitas sekaligus menghasilkan respons yang koheren dalam modalitas yang mungkin berbeda dari input. Ini menuntut desain representasi internal yang lebih kaya dibandingkan model multimodal konvensional. Belum jelas kapan omni model akan tersedia secara luas untuk publik. Jika tren yang terlihat pada model multimodal sebelumnya menjadi acuan, produk komersial biasanya menyusul beberapa bulan setelah publikasi riset. Namun tanpa benchmark yang mapan, proses adopsi dan evaluasi produk semacam itu kemungkinan akan berjalan berbeda dibandingkan generasi model sebelumnya.

Industri juga masih perlu memastikan apakah istilah omni model merujuk pada satu pendekatan arsitektural yang seragam atau justru menjadi payung bagi berbagai metode yang saling bersaing. Paper seperti NExT OMNI, produk seperti Gemini Omni, dan definisi dari NVIDIA menunjukkan bahwa masing masing pihak memiliki penekanan teknis yang berbeda. Perkembangan berikutnya yang perlu diamati adalah munculnya tolok ukur baru yang dirancang khusus untuk mengukur kapabilitas omni model. Selama tolok ukur tersebut belum ada, klaim keunggulan model model ini hanya dapat diverifikasi melalui evaluasi berbasis tugas tertentu. Sementara itu, publikasi riset dan produk komersial yang terus bermunculan akan menjadi sinyal utama seberapa serius industri mengejar arah ini.