Selama beberapa hari terakhir, saya berusaha membujuk perusahaan-perusahaan AI untuk meyakinkan saya bahwa prospek keamanan AI belum meredup. Beberapa tahun lalu, tampaknya ada kesepakatan universal di antara perusahaan, pembuat undang-undang, dan publik bahwa regulasi serta pengawasan ketat terhadap AI bukan hanya diperlukan, tapi tak terelakkan. Banyak yang berspekulasi tentang lembaga internasional yang menetapkan aturan untuk memastikan AI ditanggapi lebih serius daripada teknologi baru lainnya, setidaknya untuk menghadang implementasinya yang paling berbahaya. Korporasi bersumpah mengutamakan keselamatan di atas kompetisi dan keuntungan. Sementara para penggemar skenario suram tetap ada, konsensus global terbentuk untuk membatasi risiko AI sembari menuai manfaatnya.
Peristiwa pekan lalu menghantam harapan-harapan itu, dimulai dengan perseteruan sengit antara Pentagon dan Anthropic. Semua pihak setuju bahwa kontrak mereka sebelumnya—atas desakan Anthropic—menyatakan bahwa Departemen Pertahanan (yang kini menyebut diri Departemen Perang) tidak akan menggunakan model AI Claude untuk senjata otonom atau pengawasan massal warga Amerika. Kini, Pentagon ingin menghapus batasan itu, dan penolakan Anthropic tidak hanya mengakhiri kontrak, tetapi juga mendorong Menteri Pertahanan Pete Hegseth untuk menyatakan perusahaan tersebut sebagai risiko rantai pasokan, sehingga lembaga pemerintah dilarang bekerja sama dengan Anthropic. Tanpa membahas detail kontrak dan dinamika pribadi antara Hegseth dengan CEO Anthropic Dario Amodei, intinya militer bertekad menolak segala pembatasan penggunaan AI, setidaknya menurut batas legal versi mereka sendiri.
Pertanyaan besar adalah bagaimana kita sampai pada titik dimana pelepasan drone robot pembunuh dan bom yang mengidentifikasi serta menyingkirkan target manusia bahkan menjadi bahan pertimbangan militer AS. Apakah saya melewatkan debat internasional tentang manfaat menciptakan kawanan drone otonom mematikan yang memindai zona perang, meronda perbatasan, atau mengawasi penyelundup narkoba? Hegseth dan pendukungnya mengeluhkan absurditas perusahaan swasta yang membatasi tindakan militer. Menurut saya, lebih gila lagi bahwa diperlukan satu perusahaan yang mempertaruhkan sanksi eksistensial untuk menghentikan teknologi yang berpotensi tak terkendali. Bagaimanapun, kurangnya kesepakatan internasional berarti setiap militer canggih harus memanfaatkan AI dalam segala bentuknya, hanya untuk menyamai lawannya. Saat ini, perlombaan senjata AI tampak tak terhindarkan.
Risikonya jauh melampaui urusan militer. Terabaikan oleh drama Pentagon adalah pengumuman mengganggu dari Anthropic pada 24 Februari. Perusahaan mengubah sistem mitigasi risiko katastrofik AI-nya, yaitu Kebijakan Skala Bertanggung Jawab. Kebijakan fondasional ini menjanjikan penyesuaian jadwal perilisan model AI dengan prosedur keamanan, menegaskan model tidak boleh diluncurkan tanpa pengaman untuk mencegah skenario terburuk. Ini menjadi insentif internal agar keamanan tidak diabaikan dalam perlombaan meluncurkan teknologi canggih. Lebih penting lagi, Anthropic berharap kebijakan ini menginspirasi atau memalukan perusahaan lain untuk melakukan hal serupa. Mereka menyebut proses ini “perlombaan menuju puncak”. Harapannya, prinsip ini akan mempengaruhi regulasi industri yang membatasi kekacauan yang mungkin ditimbulkan AI.
Awalnya, pendekatan ini tampak menjanjikan. DeepMind dan OpenAI mengadopsi aspek-aspek kerangka kerja Anthropic. Belakangan, seiring membengkaknya investasi, kompetisi antar-lab AI meningkat, dan prospek regulasi federal makin jauh, Anthropic mengakui Kebijakan Skala Bertanggung Jawab mereka kurang efektif. Ambang batas yang ditetapkan tidak menciptakan konsensus tentang risiko AI seperti yang diharapkan. Seperti dicatat dalam blog mereka, “Lanskap kebijakan telah bergeser ke prioritas daya saing dan pertumbuhan ekonomi AI, sementara diskusi berorientasi keamanan belum mendapatkan daya tarik berarti di tingkat federal.”
Sementara itu, kompetisi antara perusahaan AI menjadi semakin kejam. Alih-alih perlombaan menuju puncak, persaingan AI lebih mirip perkelahian tarung bebas untuk jadi yang terkuat. Saat Pentagon mengucilkan Anthropic, OpenAI bergegas mengisi kekosongan dengan kontrak Departemen Pertahanan mereka sendiri. CEO OpenAI Sam Altman bersikeras bahwa kesepakatan terburu-burunya dengan Pentagon bertujuan meringankan tekanan pada Anthropic, namun Amodei tidak menerimanya. “Sam berusaha merongrong posisi kami sambil tampak mendukung,” kata Amodei dalam memo internal. “Dia berusaha memudahkan pemerintah menghukum kami dengan mengikis dukungan publik untuk kami.” (Amodei kemudian meminta maaf atas nada pesannya.)