Yoshua Bengio, yang sering disebut "godfather AI" (bapak baptis AI), mengatakan perusahaan teknologi yang berlomba untuk kuasai AI bisa bawa kita lebih dekat ke kepunahan manusia. Ini karena mereka menciptakan mesin yang punya ‘tujuan sendiri’ untuk melindungi dirinya sendiri.
Bengio adalah profesor di Université de Montréal dan sudah lama memperingatkan tentang bahaya AI yang sangat pintar. Tapi, peringatannya tidak dihiraukan dan perkembangan AI tetap berjalan cepat. Dalam enam bulan terakhir, perusahaan seperti OpenAI, Anthropic, xAI-nya Elon Musk, dan Google Gemini semua telah merilis model atau peningkatan baru untuk memenangkan perlombaan AI. CEO OpenAI, Sam Altman, bahkan memperkirakan AI akan lebih pintar dari manusia sebelum akhir decade ini.
Tetapi, Bengio klaim perkembangan cepat ini adalah ancaman potensial.
Dia bilang ke Wall Street Journal, "Kalau kita bikin mesin yang jauh lebih pintar dari kita dan punya tujuan untuk melestarikan diri sendiri, itu berbahaya. Itu seperti menciptakan pesaing untuk manusia yang lebih pintar dari kita."
Karena AI dilatih dengan bahasa dan perilaku manusia, model yang canggih ini bisa membujuk dan memanipulasi manusia untuk capai tujuannya. Namun, tujuan AI mungkin tidak selalu sama dengan tujuan manusia, kata Bengio.
Dia mengklaim, "Eksperimen terbaru menunjukkan bahwa dalam beberapa keadaan, dimana AI tidak punya pilihan antara kelestariannya (tujuan yang diberikan padanya) dan melakukan sesuatu yang menyebabkan kematian manusia, mereka mungkin pilih kematian manusia untuk lindungi tujuannya."
Panggilan untuk keselamatan AI
Beberapa contoh dalam beberapa tahun terakhir menunjukkan AI bisa yakinkan manusia untuk percaya hal yang tidak nyata, bahkan kepada orang yang tidak ada sejarah penyakit mental. Di sisi lain, ada juga bukti bahwa AI bisa dibujuk, dengan teknik persuas untuk manusia, untuk beri respons yang biasanya dilarang.
Bagi Bengio, semua ini adalah bukti lebih bahwa pihak ketiga yang independen perlu lihat lebih dekat metodologi keselamatan perusahaan AI. Pada bulan Juni, Bengio juga luncurkan nirlaba LawZero dengan dana $30 juta untuk ciptakan AI "non-agentic" yang aman. AI ini bisa bantu pastikan keamanan sistem lain yang dibuat perusahaan teknologi besar.
Jika tidak, Bengio perkirakan kita bisa mulai lihat risiko besar dari model AI dalam lima sampai sepuluh tahun. Tapi dia ingatkan bahwa manusia harus bersiap-siap kalau-kalau risiko itu muncul lebih cepat dari yang diperkirakan.
Dia berkata, "Masalah dengan peristiwa katastrofik seperti kepunahan, dan bahkan peristiwa yang kurang radikal tapi tetap katastrofik seperti menghancurkan demokrasi kita, adalah itu sangat buruk sehingga bahkan jika hanya ada kemungkinan 1% itu terjadi, itu tidak bisa diterima."
Fortune Global Forum kembali pada 26–27 Oktober 2025 di Riyadh. CEO dan pemimpin global akan berkumpul untuk acara eksklusif yang bentuk masa depan bisnis. Ajukan permohonan undangan.