Dapatkan informasi dengan update gratis
Cukup daftar ke Artificial Intelligence myFT Digest — dikirim langsung ke kotak masuk kamu.
Menurut bos Anthropic, Dario Amodei, umat manusia "perlu bangun" terhadap risiko bencana yang mungkin ditimbulkan oleh sistem AI yang sangat kuat di tahun-tahun mendatang. Perusahaannya termasuk yang memajukan teknologi ini.
Dalam sebuah esai hampir 20.000 kata, yang diposting hari Senin, Amodei menggambarkan risiko yang bisa muncul jika teknologi ini berkembang tanpa kendali — mulai dari hilangnya pekerjaan skala besar sampai bioterorisme.
"Umat manusia akan diberi kekuatan yang hampir tak terbayangkan dan sangat tidak jelas apakah sistem sosial, politik, dan teknologi kita memiliki kedewasaan untuk menggunakannya," tulis Amodei.
Esai ini menjadi peringatan keras dari salah satu pengusaha paling berpengaruh di industri AI bahwa pengamanan seputar AI saat ini tidak memadai.
Amodei merinci risiko yang mungkin timbul dengan datangnya apa yang dia sebut "AI yang kuat" — sistem yang akan "jauh lebih mampu daripada pemenang Hadiah Nobel, negarawan, atau teknolog mana pun" — yang dia prediksi akan terjadi dalam "beberapa tahun" ke depan.
Di antara risiko itu adalah potensi individu untuk mengembangkan senjata biologis yang bisa membunuh jutaan orang atau "dalam kasus terburuk bahkan menghancurkan semua kehidupan di bumi".
"Seseorang penyendiri yang terganggu [yang] bisa melakukan penembakan di sekolah, tapi mungkin tidak bisa membangun senjata nuklir atau melepaskan wabah… sekarang akan ditingkatkan ke tingkat kemampuan ahli virologi bergelar PhD," tulis Amodei.
Dia juga menyebutkan potensi AI untuk "berkhianat dan mengalahkan umat manusia" atau memberdayakan otoriter dan pelaku jahat lainnya, yang mengarah ke "diktator totaliter global".
Amodei, yang perusahaannya Anthropic adalah pesaing utama pembuat ChatGPT, OpenAI, telah berselisih dengan David Sacks, ‘tsar’ AI dan crypto Presiden Donald Trump, mengenai arah regulasi AS.
Dia juga menyamakan rencana pemerintahan untuk menjual chip AI canggih ke China dengan menjual senjata nuklir ke Korea Utara.
Trump menandatangani perintah eksekutif bulan lalu untuk menghambat upaya tingkat negara bagian dalam mengatur perusahaan AI, dan menerbitkan rencana aksi AI tahun lalu yang merencanakan percepatan inovasi AS.
Dalam esainya, Amodei memperingatkan tentang hilangnya pekerjaan besar-besaran dan "pemusatan kekuatan ekonomi" serta kekayaan di Silicon Valley sebagai akibat dari AI.
"Ini jebakannya: AI sangat kuat, sebuah hadiah yang sangat mengkilap, sehingga sangat sulit bagi peradaban manusia untuk memberlakukan pembatasan apa pun padanya," tambahnya.
Dengan menyindir kontroversi seputar AI Grok milik Elon Musk, Amodei menulis bahwa "beberapa perusahaan AI telah menunjukkan kelalaian yang mengganggu terhadap seksualisasi anak-anak dalam model saat ini, yang membuat saya ragu mereka akan menunjukkan kemauan atau kemampuan untuk mengatasi risiko otonomi dalam model masa depan".
Kekhawatiran keamanan AI seperti senjata biologis, senjata otonom, dan aktor negara jahat banyak dibahas publik pada tahun 2023, sebagian didorong oleh peringatan dari pemimpin seperti Amodei.
Tahun itu, pemerintah Inggris menyelenggarakan konferensi puncak keamanan AI di Bletchley Park, di mana negara-negara dan lab setuju untuk bekerja sama melawan risiko tersebut.
Namun, menurut Amodei, keputusan politik seputar AI semakin didorong oleh keinginan untuk merebut peluang yang ditawarkan teknologi baru ini daripada mengurangi risikonya.
"Perubahan sikap ini disayangkan, karena teknologi itu sendiri tidak peduli dengan apa yang sedang tren, dan kita jauh lebih dekat dengan bahaya nyata pada tahun 2026 dibandingkan pada tahun 2023," tulisnya.
Amodei adalah karyawan awal di OpenAI tetapi keluar untuk mendirikan Anthropic pada tahun 2020 setelah berselisih dengan Sam Altman mengenai arah dan pengamanan AI di OpenAI.
Anthropic sedang dalam pembicaraan dengan kelompok termasuk Microsoft dan Nvidia serta investor termasuk dana kekayaan negara Singapura GIC, Coatue, dan Sequoia Capital tentang putaran pendanaan $25 miliar atau lebih, yang memberi nilai perusahaan sebesar $350 miliar.