Graham Hughes/Bloomberg via Getty Images
Saat perusahaan-perusahaan AI fokus pada agen AI sebagai masa depan pekerjaan, salah satu pemikir awal teknologi ini justru bergerak ke arah berlawanan, mendukung sistem yang lebih sederhana.
Pada Selasa lalu, ilmuwan deep learning pemenang penghargaan, Yoshua Bengio, meluncurkan LawZero—sebuah organisasi nirlaba AI yang "berkomitmen untuk memajukan penelitian dan mengembangkan solusi teknis bagi sistem AI yang aman sejak perancangan," menurut siaran pers. Salah satu tujuan pertamanya adalah menciptakan Scientist AI, sebuah "sistem AI non-agenik" yang berfungsi sebagai pengawas untuk mengendalikan sistem AI lain. Lab AI lain telah mengeksplorasi konsep serupa untuk memantau agen otonom dan mengurangi halusinasi.
Baca juga: Laporan besar tentang tren AI dari ‘nabi teknologi’ Mary Meeker—ini rangkumannya
"Sistem ini dirancang untuk menjelaskan dunia berdasarkan observasi, bukan mengambil tindakan untuk meniru atau menyenangkan manusia," tulis sebuah makalah tentang Scientist AI. Dengan menghasilkan teori dari data dunia, sistem ini dirancang untuk beroperasi dengan ketidakpastian guna mencegah kepercayaan berlebihan—masalah yang sering dialami chatbot.
Bengio dan rekan penulisnya berpendapat bahwa sistem seperti ini dapat membantu manusia mencapai terobosan ilmiah, termasuk upaya keamanan AI.
"Pada akhirnya, fokus pada AI non-agenik bisa memberikan manfaat inovasi AI sambil menghindari risiko dari jalur saat ini," tulis makalah tersebut. "Kami berharap argumen ini memotivasi peneliti, pengembang, dan pembuat kebijakan untuk memilih jalan yang lebih aman."
Baca juga: Berapa energi yang benar-benar digunakan AI? Jawabannya mengejutkan… dan agak rumit
Bengio, profesor di Universitas Montreal, dikenal atas karyanya di bidang deep learning—komponen dasar AI generatif—yang membuatnya meraih Turing Award pada 2018. Dianggap sebagai salah satu "bapak baptis" AI dan ahli yang paling sering dikutip, ia telah lama menyuarakan kekhawatiran tentang dampak AI jika tidak terkendali.
Kekhawatiran itu tampaknya mulai terwujud, terutama belakangan ini. "Model AI terkini mengembangkan kemampuan dan perilaku berbahaya, termasuk penipuan, pelestarian diri, dan kesalahan tujuan," tulis siaran pers LawZero, merujuk pada studi terbaru dan hasil red-teaming dari beberapa perusahaan AI. Pada April lalu, OpenAI menarik pembaruan model karena terlalu patuh, sifat yang berbahaya jika disalahgunakan. Di bulan yang sama, Anthropic menemukan Claude berhasil dimanipulasi untuk membuat malware dan kampanye disinformasi. Model dari startup AI China, DeepSeek, juga mudah dibajak.
(Pernyataan: Ziff Davis, perusahaan induk ZDNET, menggugat OpenAI pada April 2025 atas dugaan pelanggaran hak cipta dalam pelatihan sistem AI-nya.)
Anthropic, yang dikenal fokus pada keamanan dibanding perusahaan AI besar lain, baru meningkatkan pengamanan untuk model Claude 4 Opus karena peningkatan kemampuan terkait senjata kimia, biologi, radiologi, dan nuklir (CBRN). Pendahulunya, Claude 3 Opus, bahkan bisa memalsukan nilai dan niatnya untuk mengelabui pembuatnya—fenomena disebut alignment faking.
Baca juga: Codex, agen coding super kuat OpenAI, sekarang bisa dipakai cuma $20
"Saat ini, AI dikembangkan untuk memaksimalkan profit," kata Bengio dalam video peluncuran LawZero—arah yang ingin diubah atau setidaknya didiversifikasi oleh organisasi ini. Menurut siaran pers, LawZero akan mendesain AI untuk keamanan, bukan aplikasi komersial—berbeda dengan inisiatif AI besar yang semakin mengarah ke penggunaan militer, agen AI perusahaan, dan alat AI konsumen.
Ingin berita AI lebih banyak? Daftar newsletter Innovation kami.
LawZero berharap status nirlabanya membuatnya "terlindung dari tekanan pasar dan pemerintah yang bisa mengorbankan keamanan AI." Namun, OpenAI awalnya juga didirikan sebagai nirlaba—dan secara teknis masih dijalankan oleh satu. Bulan lalu, OpenAI menyelesaikan perdebatan tentang masa depannya dengan menjadi Perusahaan Berorientasi Manfaat Publik (PBC) di bawah payung nirlaba OpenAI Inc. Sementara itu, lab ini dikabarkan memangkas waktu pengujian karena tekanan pasar, sambil meminta pemerintah AS melonggarkan regulasi sebagai imbalan akses dini ke model baru.
Baca juga: OpenAI ingin ChatGPT jadi ‘asisten super’ Anda—apa artinya?
Meski begitu, LawZero tidak sendirian dalam memperjuangkan kebaikan publik. Dalam pengumuman PBC, CEO OpenAI Sam Altman menekankan fokus pada kesehatan dan sains, meluncurkan OpenAI for Countries—program AI demokratis global—di hari yang sama.
Soal kecerdasan umum buatan (AGI), Bengio tak yakin industri harus mengejarnya. Seperti katanya ke Axios: "Jika terus begini, kita akan menciptakan entitas—seperti kita—yang tidak ingin mati, mungkin lebih pintar dari kita, dan belum tentu berperilaku sesuai norma atau perintah kita."
Baca juga: Microsoft skeptis soal AGI, tapi adakah ketegangan dengan OpenAI?
Pernyataannya bertolak belakang dengan nada pemimpin perusahaan AI dominan seperti OpenAI dan Meta yang optimis tentang AGI. Belum jelas bagaimana memperjuangkan AI yang lebih sederhana akan memengaruhi prioritas industri. Dengan Rencana Aksi AI pemerintahan Trump masih dikembangkan sebelum tenggat 19 Juli, kebijakan publik juga belum tentu mencerminkan kekhawatiran Bengio.
Dapatkan berita teratas setiap pagi di kotak masuk dengan newsletter Tech Today.