LeCun Tegaskan Optimasi Saat Inferensi Jadi Fondasi AI Berbasis Energi

Yann LeCun, kepala ilmuwan AI di Meta, menegaskan bahwa penggunaan optimasi pada saat inferensi merupakan konsep fondasi dari Energy Based Models (EBM) dan arsitektur Objective Driven AI (ODAI). Pernyataan ini disampaikan LeCun melalui akun X pribadinya, @ylecun, dalam unggahan yang merespons diskusi tentang pendekatan komputasi pada model AI generasi baru. Dalam unggahannya, LeCun menjelaskan bahwa ketika variabel yang perlu diinferensi bersifat kontinu, pendekatan yang paling masuk akal adalah menggunakan optimasi berbasis gradien. Ia juga menyebut bahwa contoh baik dari ODAI adalah sistem berbasis model dunia (world model) yang memanfaatkan optimasi gradien untuk perencanaan. Pernyataan ini menjadi penegasan arah pengembangan AI yang selama ini ia kampanyekan, yaitu menjauh dari paradigma autoregressive murni menuju sistem yang mampu merencanakan dan bernalar.

Konsep Energy Based Models sendiri bukan hal baru dalam literatur AI. EBM adalah kerangka kerja yang mempelajari fungsi energi untuk memetakan konfigurasi variabel ke nilai skalar, di mana nilai energi yang lebih rendah menunjukkan konfigurasi yang lebih diinginkan. Dalam konteks inferensi, model mencari konfigurasi dengan energi minimum, dan proses pencarian ini dilakukan melalui optimasi. Pendekatan ini berbeda dengan model generatif lain yang langsung menghasilkan output dalam satu langkah maju. Perkembangan terkini menunjukkan bahwa komputasi saat inferensi, yang dianalogikan dengan System 2 Thinking pada manusia, semakin populer untuk meningkatkan performa model. Sebuah makalah penelitian berjudul "Energy Based Transformers are Scalable Learners and Thinkers" yang dipublikasikan di arXiv membahas upaya menjadikan pendekatan ini lebih umum.

Makalah tersebut menyoroti keterbatasan pendekatan inferensi yang ada saat ini, seperti yang hanya bekerja pada modalitas tertentu, hanya pada domain yang bisa diverifikasi seperti matematika dan pemrograman, atau memerlukan pelatihan tambahan berupa verifier atau reward yang bisa diverifikasi. LeCun selama ini konsisten mempromosikan arsitektur yang mampu melakukan perencanaan dan penalaran melalui optimasi, bukan sekadar prediksi token berikutnya. Visinya tentang AI yang didorong tujuan (objective driven) menempatkan optimasi sebagai mekanisme inti untuk mencapai tujuan tertentu dalam lingkungan yang kompleks. Sistem berbasis model dunia yang ia maksud adalah sistem yang memiliki representasi internal tentang bagaimana dunia bekerja, sehingga mampu mensimulasikan berbagai kemungkinan tindakan sebelum mengambil keputusan. Pendekatan ini memiliki implikasi signifikan bagi pengembangan AI generasi berikutnya.

Alih alih hanya mengandalkan skala data dan parameter, sistem ODAI menekankan pada kemampuan berpikir dan merencanakan. Ini sejalan dengan tren penelitian yang mencari cara membuat model AI lebih efisien dalam penggunaan komputasi, dengan melakukan komputasi tambahan hanya ketika diperlukan, bukan selalu menghasilkan output dalam satu lintasan. Di sisi lain, efisiensi energi pada inferensi menjadi perhatian tersendiri di industri. Sebuah proposal di forum komunitas OpenAI menguraikan kerangka optimasi terkendala energi untuk model inferensi, yang bertujuan meminimalkan konsumsi energi sambil menjaga kualitas inferensi. Kerangka ini mengintegrasikan optimasi multi objektif, pemangkasan struktural, kuantisasi, distilasi pengetahuan, dan metrik berbasis teori informasi, yang berlaku untuk arsitektur berbasis transformer dan large language models (LLM). Konteks ini relevan karena seiring model AI bertambah besar, penggunaan energi selama inferensi menjadi hambatan utama.

Di luar peningkatan perangkat keras, pendekatan algoritmik seperti yang diusulkan menjadi penting untuk menjaga keberlanjutan pengembangan AI. Pernyataan LeCun tentang optimasi saat inferensi menyentuh titik temu antara efisiensi komputasi dan kemampuan penalaran yang lebih dalam. LeCun tidak menyebutkan jadwal implementasi atau produk spesifik dalam unggahannya. Pernyataannya lebih bersifat konseptual, menegaskan arah penelitian yang ia yakini akan membentuk arsitektur AI masa depan. Namun, posisinya sebagai tokoh kunci di Meta AI membuat pernyataan ini diamati pelaku industri sebagai sinyal arah pengembangan teknologi di salah satu perusahaan AI terbesar dunia. Diskusi tentang EBM dan ODAI ini muncul di tengah perdebatan yang lebih luas tentang keterbatasan model bahasa besar berbasis autoregressive. Para kritikus, termasuk LeCun, berpendapat bahwa pendekatan prediksi token berikutnya memiliki batas fundamental dalam hal penalaran dan perencanaan.

Optimasi saat inferensi dipandang sebagai salah satu jalan keluar dari keterbatasan tersebut, memungkinkan model untuk "berpikir" lebih lama sebelum menghasilkan jawaban. Perkembangan selanjutnya yang perlu diamati adalah apakah pendekatan ini akan diadopsi secara luas di industri, mengingat biaya komputasi tambahan saat inferensi bisa menjadi pertimbangan ekonomi. Keseimbangan antara kualitas output dan efisiensi biaya akan menentukan seberapa cepat paradigma ini diterima di luar lingkungan riset.