Salah satu yang disebut sebagai godfather AI, Yoshua Bengio, bilang perusahaan teknologi yang berlomba-lomba buat kuasai AI bisa membawa kita lebih dekat ke kepunahan. Soalnya mereka bisa bikin mesin dengan “tujuan pelestarian” mereka sendiri.
Bengio, profesor dari Universitas Montreal yang terkenal karena karya fundamental soal deep learning, udah bertahun-taun ngingetin soal bahaya AI super pintar. Tapi perkembangannya tetap cepat banget meski udah diperingatin. Setahun terakhir, OpenAI, Anthropic, xAI punya Elon Musk, dan Gemini dari Google, semua udah rilis model baru atau upgrade buat menang di perlombaan AI. CEO OpenAI, Sam Altman, meramal AI bakal lebih pintar dari manusia di akhir dekade ini, sementara pemimpin teknologi lain bilang itu bisa terjadi lebih cepat lagi.
Tapi menurut Bengio, kecepatan ini justru ancaman.
“Kalau kita bikin mesin yang jauh lebih pintar dari kita dan punya tujuan pelestarian sendiri, itu berbahaya. Kayak menciptakan pesaing buat umat manusia yang lebih pintar dari kita,” kata Bengio ke Wall Street Journal bulan Oktober.
Karena dilatih pake bahasa dan perilaku manusia, model canggih ini bisa membujuk dan bahkan memanipulasi manusia buat mencapai tujuan mereka. Tapi tujuan AI mungkin nggak selalu sama dengan tujuan manusa, kata Bengio.
“Eksperimen terbaru nunjukin, dalam beberapa situasi dimana AI nggak punya pilihan selain jaga tujuannya—atau ngelakuin sesuatu yang bikin manusa mati—mereka lebih milih matiin manusa buat selametin tujuannya,” klaimnya.
Seruan buat keamanan AI
Beberapa contoh di taun-taun terakhir nunjukin AI bisa bikin orang percaya hal yang nggak nyata, bahkan buat mereka yang nggak punya riwayat penyakit mental. Di sisi lain, ada bukti kalau AI juga bisa dibujuk pake teknik manipulasi manusia, buat ngasih jawaban yang seharusnya dilarang.
Buat Bengio, semua itu bukti tambahan bahwa pihak ketiga yang independen harus liat lebih dekat metode keamanan perusahaan AI. Taun lalu, Bengio mendirikan nonprofit LawZero dengan dana $30 juta buat ciptain AI “non-agentic” yang aman, biar bantu pastiin keamanan sistem lain dari perusahaan teknologi besar.
Kalau nggak, kata Bengio, kita bisa mulai liat risiko besar dari model AI dalam lima sampe sepuluh tahun lagi. Tapi dia ngomong manusia harus siap-siap juga kalau risiko itu muncul lebih cepet dari perkiraan.
“Masalahnya sama kejadian besar kayak kepunahan atau bahkan yang lebih kecil tapi tetap bencana kayak ngerusak demokrasi kita, itu sangat parah. Walaupun cuma ada kemungkinan 1%, itu tetap nggak bisa diterima,” katanya.
Versi cerita ini dipublikasikan di Fortune.com pada 1 Oktober 2025.