Yoshua Bengio, seorang ilmuwan komputer yang dianggap sebagai salah satu “bapak baptis AI”, sudah bertahun-tahun memperingatkan tentang risiko teknologi yang ia bantu ciptakan. Sekarang, dia mengatakan model baru seperti Mythos dari Anthropic menunjukkan mengapa lembaga internasional perlu bekerja sama dengan cepat untuk mengatasi bahaya potensial AI.
Model terbaru Anthropic, Claude Mythos, dikatakan sebagai lompatan besar di bidang keamanan siber. Model ini bisa menemukan ribuan “zero-day” yang sebelumnya tidak diketahui. Zero-day adalah cacat dalam perangkat lunak yang tidak diketahui oleh pemrogramnya, yang bisa digunakan peretas untuk mencuri data penting.
Tapi, perusahaan mengatakan karena kemampuan ini bersifat dual-use—bisa untuk serangan siber canggih yang mengganggu infrastruktur global—mereka hanya merilis sistem ini ke sekelompok kecil perusahaan. Tujuannya memberi mereka kesempatan lebih dulu untuk mengamankan sistem vital.
Kelompok perusahaan pertama yang dipilih Anthropic untuk berbagi Mythos semuanya berbasis di Amerika, yang perangkat lunaknya mendukung banyak sistem kritis dunia. Perusahaan juga sudah memberi penjelasan kepada pemerintah AS dan sedang dalam proses memberi akses model ini ke beberapa departemen pemerintah AS.
Keputusan untuk merilis Mythos secara terbatas ini menimbulkan pertanyaan tidak nyaman tentang konsentrasi kekuasaan di tangan satu perusahaan AS saja. Anthropic sendiri yang memutuskan dengan siapa mereka berbagi. Hal ini membuat banyak bisnis dan pemerintah yang tidak termasuk merasa khawatir dan meminta akses agar mereka juga bisa mengamankan sistem mereka. Situasi ini memperkuat alasan mengapa tata kelola AI perlu dibahas lebih luas dan internasional.
“Tidak masuk akal bahwa individu swasta menentukan nasib infrastruktur untuk semua orang,” kata Bengio dalam wawancara dengan Fortune. “Bagaimana dengan semua perusahaan dan negara yang tidak dapat akses?”
Bengio, pemenang Turing Award (penghargaan tertinggi di ilmu komputer), bukan satu-satunya yang menanyakan hal itu. Bank of England, misalnya, mendesak Anthropic untuk memberi akses Mythos ke bank-bank di Inggris. Pembicaraan di pertemuan IMF dan Bank Dunia di Washington juga banyak membahas kekhawatiran atas kemampuan Mythos. Pembuat kebijakan memperingatkan sistem seperti Mythos bisa membongkar kelemahan di seluruh sistem perbankan global.
Bagi banyak pihak di luar AS, Mythos mungkin mempercepat keinginan untuk “kedaulatan AI”—yaitu memiliki kemampuan dan infrastruktur AI yang tidak tergantung pada perusahaan atau pemerintah luar negeri. Banyak tempat khawatir terlalu bergantung pada teknologi AS, terutama karena pemerintah AS terkadang menggunakan hambatan rantai pasokan untuk tujuan kebijakan lain. Ada juga kekhawatiran tentang ketergantungan pada segelintir CEO teknologi AS.
Sementara itu di Washington, pemerintah AS bergerak untuk mengamankan aksesnya sendiri ke model yang kuat ini. Dalam sebuah memo, Gedung Putih mengatakan sedang menyiapkan perlindungan agar badan federal seperti Pertahanan, Keuangan, dan Keamanan Dalam Negeri bisa mulai menggunakan versi Mythos.
Langkah ini terjadi meskipun ada pertarungan hukum antara Anthropic dan Pentagon, yang menyebut perusahaan ini sebagai ancaman rantai pasokan awal tahun ini. CEO Anthropic, Dario Amodei, dijadwalkan bertemu dengan staf Gedung Putih untuk menyelesaikan perselisihan ini.
Bengio mendorong koordinasi internasional yang jauh lebih besar untuk menanggapi risiko keamanan siber baru ini. Dia mengusulkan pembentukan badan pengawas, mirip dengan Badan Pengawas Obat dan Makanan, untuk mengawasi pengembangan dan penyebaran sistem AI canggih. Dia berargumen bahwa pemerintah—terutama AS—harus menetapkan kewajiban yang lebih jelas pada perusahaan pengembang model ini.
“Perlu ada lembaga yang benar-benar bertugas mengawasi keputusan semacam ini,” katanya. “Ketika kekuatan AI terus tumbuh, pertanyaan tentang komitmen internasional ini menjadi mendesak. Ini harus menjadi urusan internasional.”
Pertanyaan tentang sumber terbuka (open-source)
Bengio juga mengatakan kesepakatan dengan China harus menjadi bagian dari respons global yang berarti. AS dan China sedang dalam perlombaan ketat untuk supremasi AI.
Meskipun Bengio memperkirakan model AI terkemuka China mungkin tertinggal sekitar enam bulan dari AS, dia menekankan bahwa kesenjangan itu tidak banyak mengurangi risiko dasarnya.
China juga membuat kemajuan pesat dalam model open-source—sistem di mana kode dan parameternya tersedia untuk publik. Bengio memperingatkan ini pada akhirnya bisa menimbulkan bahaya yang lebih besar daripada sistem kuat seperti Mythos.
Berbeda dengan model proprietary, sistem open-source ini bisa diunduh, diubah, dan dijalankan oleh siapa saja. Bengio mengatakan pagar pengaman yang dibangun perusahaan bisa dengan mudah dilepas oleh pengguna, sehingga tidak ada yang mencegah penyalahgunaan.
Kekhawatiran ini tidak terbatas pada AI open-source. Bengio memperingatkan bahwa tradisi perangkat lunak open-source yang lebih luas—yang lama dianggap sebagai pilar keamanan internet—juga sedang dibentuk ulang oleh kemampuan ini.
Selama beberapa dekade, perangkat lunak open-source dianggap lebih aman karena memungkinkan lebih banyak pengembang untuk memeriksa dan memperbaiki kerentanannya. Tapi sistem AI yang sangat mampu sekarang bisa memindai kode publik itu untuk mengidentifikasi kelemahan jauh lebih cepat daripada manusia. Meski Bengio adalah pendukung open-source, dia mengakui bahwa di era serangan siber berbantuan AI, sistem terbuka juga bisa menjadi tanggung jawab yang serius.