Gambar: vadishzainer/iStock/Getty Images Plus
Ikuti ZDNET: Tambahkan kami sebagai sumber preferensi di Google.
—
Intisari ZDNET:
- Penyebaran agen yang tak terkendali bisa menyerupai ledakan VM di masa lalu.
- Otonomi agen yang berlebihan memperluas radius dampak pelanggaran.
- Perlakukan agen AI seperti karyawan yang memiliki kredensial akses.
—
Sejak Oktober lalu, saya dengan senang hati vibe-coding serangkaian aplikasi menggunakan Claude Code. Sesekali, saya memberi instruksi, dan mereka akan bekerja menjalankan perintah saya. Kolaborasi itu berjalan nyaman. Saya bisa melihat semua yang dilakukan AI, dan saya bisa menghasilkan kode baru dengan kecepatan yang jauh lebih cepat dari sebelumnya.
Namun, Anthropic kemudian memperbarui model bahasanya. Fitur utamanya adalah kemampuan Claude untuk meluncurkan agen-agen bawahan yang dapat bekerja simultan pada bagian masalah yang berbeda dan saling berkomunikasi. Secara teori, ini merupakan kemajuan teknis yang besar.
Secara teori.
Juga: Akankah AI membuat keamanan siber usang atau ini lagi-lagi imajinasi Silicon Valley?
Seluruh pengalaman saya berubah. Tiba-tiba, Claude meluncurkan empat, lima, enam, tujuh, bahkan delapan agen sekaligus. Saya tidak memiliki visibilitas atas apa yang mereka semua lakukan. Saya bahkan tidak punya cara untuk menghentikan mereka jika satu atau lebih agen menjadi kacau. Dan memang, mereka menjadi kacau.
Satu agen terjebak mencoba mengakses file yang tidak memiliki hak akses root. Agen lain masuk dan mencoba melakukan refactor pada keseluruhan aplikasi (yang tidak saya minta). Agen itu gagal di tengah proses, meninggalkan konvensi penamaan yang tidak konsisten dan deklarasi objek yang bertentangan di sepanjang kode. Dengan efisien dan riang, ia benar-benar menghancurkan aplikasi saya.
Untungnya, saya memiliki check-in kontrol sumber dan cadangan, sehingga bisa memulihkannya. Saya juga membuat protokol yang melarang Claude meluncurkan agen paralel secara simultan. Potensi kerusakannya terlalu besar.
Juga: Menerapkan AI? 5 taktik keamanan yang tidak boleh salah diterapkan bisnis Anda — dan alasannya
Itu pengalaman saya. Saya hanyalah seorang pengembang tunggal yang mengerjakan aplikasi prioritas rendah sebagai proyek sampingan. Dan tetap saja, agen nakal yang diluncurkan AI menghancurkan proyek saya.
Sekarang, bayangkan skalanya diperbesar ke tingkat perusahaan. Alih-alih tujuh atau delapan agen nakal yang merusak kode sumber proyek sampingan, agen-agen itu berkeliaran di seluruh sistem TI Anda, banyak di antaranya memiliki kredensial dan akses untuk menghabiskan uang, meretas database, memodifikasi file, serta memulai dan menanggapi komunikasi atas nama perusahaan Anda.
Apa yang mungkin bisa salah?
Mari kita telusuri daftar panjang contoh di mana AI telah salah langkah di berbagai perusahaan dan lembaga.
Sejak 2022, chatbot AI menjanjikan diskon kepada pelanggan Air Canada yang sebenarnya tidak tersedia. Pelanggan menggugat, dan menang. Perusahaan berargumen bahwa AI yang bersalah, tetapi pengadilan memutuskan bahwa AI mewakili perusahaan.
Pada 2025, bot perekrutan AI mengungkap informasi pribadi jutaan pelamar kerja McDonald’s. Ternyata, perusahaan AI yang menjalankan bot tersebut menggunakan kata sandi "123456".
Tahun lalu, para peneliti keamanan menunjukkan bahwa serangan prompt injection (di mana prompt jahat disisipkan ke AI) membuka platform CRM Salesforce pada potensi pencurian data. Untungnya, peretasan ini tidak pernah dilakukan (atau setidaknya tidak ada yang melaporkannya), dan para peneliti justru menggunakan beritanya untuk mempromosikan keahlian perusahaan mereka.
Juga tahun lalu, kerentanan ditemukan dalam Platform AI ServiceNow yang dapat memungkinkan pengguna yang tidak terautentikasi untuk menyamar sebagai pengguna lain dan melakukan operasi apa pun yang bisa dilakukan pengguna terautentikasi tersebut. Menurut peneliti yang menemukan kerentanan itu, "penyerang dapat menjalankan workflow agen istimewa dari jarak jauh sebagai pengguna mana pun."
Juga: Ancaman AI akan semakin buruk: 6 cara untuk menyamai kegigihan lawan digital Anda
Kerentanan lain ditemukan di ekstensi VS Code Amazon Q. Amazon Q adalah asisten AI generatif Amazon, yang dijual sebagai sumber daya SaaS bagian dari penawaran AWS ekstensif perusahaan. Tahun lalu, kesalahan token GitHub memungkinkan aktor ancaman untuk mendorong dan mengkomit kode berbahaya langsung ke repositori sumber terbuka ekstensi, yang kemudian akan diunduh ke lingkungan pengembangan pengguna Q mana pun. Satu-satunya yang mencegah ini menjadi bencana total adalah kesalahan sintaks yang menghalangi peretasan berjalan dengan baik.
OpenAI bersemangat menggunakan AI Codex-nya untuk menulis alat penulisan kode Codex. Namun pada akhir 2025, para peneliti menemukan kerentanan dalam agen pengodean CLI Codex milik OpenAI yang dapat memungkinkan penyerang mengeksekusi perintah berbahaya di mesin pengembang. Dengan menyematkan instruksi berbahaya dalam file konfigurasi proyek di dalam repositori bersama, penyerang dapat memicu alat tersebut untuk menjalankan perintah itu secara lokal ketika seorang pengembang menggunakannya. Kompromi lokal itu dapat mengekspos kredensial, mengubah kode sumber, atau memungkinkan perubahan tidak sah pada sistem hilir. Hasilnya adalah mengubah asisten pengodean AI menjadi titik masuk potensial untuk penyusupan perusahaan yang lebih luas.
Mungkin contoh terbaik ke mana agen AI nakal akan pergi dalam waktu dekat berasal dari contoh kabar angin tanpa sumber yang dikutip oleh perusahaan keamanan siber Stellar Cyber. Mereka menggambarkan "contoh dunia nyata" dari tahun ini saja.
Didokumentasikan sebagai bagian dari daftar ancaman keamanan AI agenik teratas mereka, "Agen pengadaan sebuah perusahaan manufaktur dimanipulasi selama tiga minggu melalui klarifikasi yang tampaknya membantu tentang batas otorisasi pembelian. Pada saat serangan selesai, agen percaya dapat menyetujui pembelian apa pun di bawah $500.000 tanpa tinjauan manusia. Penyerang kemudian membuat pesanan pembelian palsu senilai $5 juta yang tersebar di 10 transaksi terpisah."
Rasio 82 banding 1
Salah satu pekerjaan saya yang lebih baru adalah menakuti-nakuti para jenderal dan laksamana tentang keamanan siber. Mereka adalah orang-orang yang memimpin brigade tank dan armada kapal perang.
Saya harus menjelaskan kepada mereka bagaimana thumb drive sederhana dengan virus dapat menyebabkan lebih banyak kerusakan daripada peluru APFSDS yang ditembakkan dari meriam smoothbore 120mm M256 pada tank Abrams M1A2 atau rudal Tomahawk taktis TLAM-E Block IV yang mengandung hulu ledak 1.000 pound Unitary High-Explosive (WDU-36/B) yang ditembakkan dari kapal perusak kelas Arleigh Burke.
Saya menemukan bahwa tidak ada yang lebih menyadarkan akan pentingnya keamanan siber selain beberapa statistik terpilih. Saat kita memasuki era keamanan siber AI, saya akan berbagi beberapa statistik dengan Anda. Saya berhasil menghancurkan tidur segenap pemimpin militer. Mari kita lihat apakah Anda tidur lebih nyenyak setelah ini.
Kita mulai dengan rasio 82 banding 1. CyberArk adalah divisi dari Palo Alto Networks. Dalam survei Lanskap Keamanan Identitas 2025 yang baru dirilis terhadap para profesional keamanan, ditemukan bahwa identitas mesin melebihi jumlah identitas manusia dengan rasio 82 banding 1.
Juga: Mengapa cadangan terenkripsi bisa gagal di era ransomware yang digerakkan AI
Ini pada dasarnya adalah ukuran berapa banyak pengguna yang memiliki login, baik pengguna itu manusia atau perangkat lunak. Istilah "identitas mesin" dapat mencakup segala hal mulai dari skrip dasar hingga agen AI. Namun faktanya adalah, di dalam perusahaan, ada banyak sekali perangkat lunak yang berkeliaran dengan akses tak terbatas ke aset paling berharga.
Ini statistik menarik lainnya, dan kali ini saya akan mengutip langsung dari studi tersebut: "Organisasi kini melaporkan bahwa 72% karyawan secara rutin menggunakan alat AI dalam pekerjaan — namun 68% responden masih kekurangan kontrol keamanan identitas untuk teknologi ini."
Gartner menyatakan bahwa kurang dari 5% aplikasi perusahaan menggunakan agen AI spesifik tugas pada 2025. Pada 2026, angka itu akan meningkat 800%. Perusahaan analis memperkirakan lebih dari 40% aplikasi perusahaan akan menggunakan agen AI pada 2026.
Menurut perusahaan keamanan data BigID, hanya 6% organisasi yang memiliki strategi keamanan AI tingkat lanjut. Dalam postingan LinkedIn, peneliti IDC Bjoern Stengel mengatakan bahwa hanya 22% organisasi yang mengatur penggunaan AI melalui dewan tata kelola atau etika pusat. Dia mengatakan 43% mengelola AI, "hanya melalui upaya yang terputus atau tidak memiliki proses tata kelola AI yang bertanggung jawab yang mapan."
Dalam survei akhir 2025 terhadap para pemimpin level C, EY (Ernst & Young) melaporkan bahwa 99% perusahaan mengalami kerugian finansial dari risiko terkait AI, dengan 64% melebihi kerugian $1 juta. Rata-rata, perusahaan mengalami kerugian $4,4 juta, dan di seluruh ruang survei mereka yang terdiri dari 975 perusahaan, kerugian terkait AI berjumlah $4,3 miliar.
Intinya: Kita tidak siap.
Bagaimana agen baik bisa menjadi jahat
OWASP adalah singkatan dari Open Worldwide Application Security Project. Ini adalah nirlaba yang berfokus pada peningkatan keamanan perangkat lunak. Pada akhir 2025, mereka menerbitkan studi yang mendokumentasikan "risiko keamanan paling kritis yang dihadapi sistem AI otonom dan agenik."
Berikut ringkasannya:
- Prompt injection: Penyerang dapat memanipulasi instruksi agen AI untuk menyebabkannya melakukan tindakan yang tidak diinginkan atau berbahaya.
- Insecure output handling: Output yang dihasilkan AI dapat memicu tindakan tidak aman dalam sistem hilir jika tidak divalidasi dan disanitasi.
- Training data poisoning: Data yang rusak atau jahat yang diperkenalkan selama pelatihan dapat membiasakan atau melemahkan perilaku model.
- Model denial-of-service: Penyerang dapat membebani atau mengeksploitasi batas sumber daya untuk menjatuhkan atau menurunkan ketersediaan sistem AI.
- Supply chain vulnerabilities: Pustaka, plugin, atau dependensi model yang dikompromikan dapat memperkenalkan backdoor atau kelemahan tersembunyi.
- Sensitive information disclosure: Model dapat membocorkan rahasia, kredensial, atau data kepemilikan melalui responsnya.
- Insecure plugin design: Ekstensi atau alat yang terhubung ke AI yang diamankan dengan buruk dapat berfungsi sebagai vektor serangan.
- Excessive agency: Memberikan terlalu banyak otonomi atau akses sistem kepada agen meningkatkan radius dampak kompromi.
- Overreliance: Pengguna mungkin mempercayai output AI tanpa verifikasi, memungkinkan kesalahan atau manipulasi halus untuk menyebar.
- Model theft: Penyerang dapat menyalin atau mengekstrak bobot atau perilaku model, mencuri kekayaan intelektual atau kapabilitas.
Seperti yang Anda lihat, ada banyak titik masuk bagi aktor jahat untuk menguasai agen AI internal yang seharusnya aman.
Ancaman dari dalam
Dulu, ketika saya menghabiskan sebagian besar waktu memberikan ceramah keamanan siber, ancaman dari dalam menyumbang porsi yang terukur dari risiko keamanan siber perusahaan. Sebelum pandemi, Laporan Biaya Ancaman Dalam 2018 oleh Ponemon menemukan bahwa 64% insiden dari dalam disebabkan oleh kelalaian karyawan atau kontraktor, dengan pelaku dalam kriminal atau jahat menyumbang 23% dan pencurian kredensial 13%.
[Laporan Investigasi Pelanggaran Data (DBIR) Verizon