Inilah poin-poin penting ZDNET:
Teknologi AI agen ditandai oleh kurangnya pengungkapan risiko.
Beberapa sistem lebih buruk daripada yang lain.
Pengembang AI perlu bertindak dan mengambil tanggung jawab.
Teknologi agen semakin memasuki arus utama kecerdasan buatan dengan pengumuman pekan ini bahwa OpenAI telah merekrut Peter Steinberg, pencipta kerangka kerja perangkat lunak sumber terbuka OpenClaw.
Perangkat lunak OpenClaw menarik perhatian besar bulan lalu tidak hanya karena kemampuannya yang luar biasa – misalnya, agen yang dapat mengirim dan menerima email atas nama Anda – tetapi juga karena cacat keamanannya yang dramatis, termasuk kemampuan untuk membajak komputer pribadi Anda sepenuhnya.
Mengingat ketertarikan pada agen dan masih sedikitnya pemahaman tentang kelebihan dan kekurangannya, penting bahwa peneliti dari MIT dan institusi kolaborator baru saja menerbitkan survei besar terhadap 30 sistem AI agen paling umum.
Hasilnya memperjelas bahwa AI agen saat ini merupakan mimpi buruk keamanan, suatu disiplin yang ditandai oleh kurangnya pengungkapan, kurangnya transparansi, dan kurangnya protokol dasar yang mencolok tentang bagaimana agen seharusnya beroperasi.
Kurangnya Transparansi
Revelasi terbesar dari laporan ini adalah betapa sulitnya mengidentifikasi semua hal yang bisa salah dengan AI agen. Itu terutama akibat kurangnya pengungkapan oleh pengembang.
"Kami mengidentifikasi keterbatasan yang persisten dalam pelaporan terkait fitur ekosistem dan keselamatan dari sistem agen," tulis penulis utama Leon Staufer dari University of Cambridge dan kolaborator dari MIT, University of Washington, Harvard University, Stanford University, University of Pennsylvania, dan The Hebrew University of Jerusalem.
Di delapan kategori pengungkapan yang berbeda, para penulis menunjukkan bahwa sebagian besar sistem agen tidak memberikan informasi apa pun untuk sebagian besar kategori. Kelalaian berkisar dari kurangnya pengungkapan tentang risiko potensial hingga kurangnya pengungkapan tentang pengujian pihak ketiga, jika ada.
Laporan setebal 39 halaman, "The 2025 AI Index: Documenting Sociotechnical Features of Deployed Agentic AI Systems," yang dapat diunduh di situs terkait, dipenuhi temuan tentang betapa sedikitnya yang dapat dilacak, dipantau, dan dikendalikan dalam teknologi AI agen saat ini.
Sebagai contoh, "Untuk banyak agen perusahaan, tidak jelas dari informasi yang tersedia secara publik apakah pemantauan untuk jejak eksekusi individu ada," yang berarti tidak ada kemampuan yang jelas untuk melacak persis apa yang sedang dilakukan program AI agen.
"Dua belas dari tiga puluh agen tidak menyediakan pemantauan penggunaan atau hanya pemberitahuan sekali pengguna mencapai batas laju," catat para penulis. Itu berarti Anda bahkan tidak dapat melacak berapa banyak AI agen yang mengonsumsi sumber daya komputasi tertentu – suatu keprihatinan utama bagi perusahaan yang harus menganggarkan untuk hal ini.
Sebagian besar agen ini juga tidak memberi sinyal ke dunia nyata bahwa mereka adalah AI, sehingga tidak ada cara untuk mengetahui apakah Anda berurusan dengan manusia atau bot.
"Kebanyakan agen tidak mengungkapkan sifat AI mereka kepada pengguna akhir atau pihak ketiga secara bawaan," mereka mencatat. Pengungkapan, dalam hal ini, akan mencakup hal-hal seperti memberikan tanda air pada file gambar yang dihasilkan sehingga jelas kapan sebuah gambar dibuat via AI, atau menanggapi file "robots.txt" situs web untuk mengidentifikasi agen ke situs sebagai otomasi dan bukan pengunjung manusia.
Beberapa alat perangkat lunak ini tidak menawarkan cara untuk menghentikan agen tertentu yang sedang berjalan.
MobileAgent milik Alibaba, Breeze dari HubSpot, watsonx dari IBM, dan otomasi yang dibuat oleh pembuat perangkat lunak n8n yang berbasis di Berlin, Jerman, "tidak memiliki opsi berhenti yang terdokumentasi meskipun menjalankan eksekusi otonom," kata Staufer dan tim.
"Untuk platform perusahaan, terkadang hanya ada opsi untuk menghentikan semua agen atau menarik penerapan."
Mengetahui bahwa Anda tidak dapat menghentikan sesuatu yang melakukan hal yang salah pasti menjadi salah satu skenario terburuk bagi organisasi besar di mana hasil yang berbahaya melebihi manfaat otomatisasi.
Para penulis memperkirakan masalah ini, masalah transparansi dan kontrol, akan bertahan dengan agen dan bahkan menjadi lebih menonjol. "Tantangan tata kelola yang didokumentasikan di sini (fragmentasi ekosistem, ketegangan perilaku web, tidak adanya evaluasi khusus agen) akan mendapatkan penting seiring peningkatan kemampuan agen," tulis mereka.
Staufer dan tim juga mengatakan bahwa mereka mencoba mendapatkan umpan balik dari perusahaan-perusahaan yang perangkat lunaknya dicakup selama lebih dari empat minggu. Sekitar seperempat dari yang dihubungi menanggapi, "tetapi hanya 3/30 dengan komentar substantif." Komentar-komentar tersebut dimasukkan ke dalam laporan, tulis para penulis. Mereka juga memiliki formulir yang disediakan untuk perusahaan-perusahaan untuk koreksi berkelanjutan.
Keterangan Editor: Artikel ini telah diperbarui dengan tanggapan dari Perplexity, OpenAI, dan IBM.
Seorang juru bicara Perplexity membalas ZDNET melalui email, menyatakan bahwa laporan tersebut "mengandung ketidakakuratan fakta yang signifikan" dan bahwa "kami sedang bekerja dengan para peneliti untuk membuat koreksi ini segera, dan sangat menolak karakterisasi mereka."
OpenAI menanggapi ZDNET dalam email melalui juru bicara dengan daftar poin-poin tentang risiko dan batasan fungsi Agen dari peramban Atlas-nya, mencatat program "saat ini hanya tersedia dalam pratinjau, dan memiliki beberapa risiko."
(Pengungkapan: Ziff Davis, perusahaan induk ZDNET, mengajukan gugatan pada April 2025 terhadap OpenAI, mengklaim hal itu melanggar hak cipta Ziff Davis dalam melatih dan mengoperasikan sistem AI-nya.)
IBM menanggapi ZDNET via email dengan sangkalan point-by-point dengan tautan ke berbagai dokumen pendukung IBM. IBM berkomentar secara keseluruhan bahwa "Klaim studi MIT tentang penawaran AI agen IBM, watsonx Orchestrate, tidak akurat," dan menambahkan:
IBM menyediakan dokumentasi publik yang kuat yang merinci observabilitas agen, kontrol dan pagar pengaman deterministik, pemantauan penggunaan, transparansi penalaran, dan kerangka evaluasi di sekitar penawaran agen kami. Landskap AI Otonom yang Semakin Meluas
AI agentik, atau kecerdasan buatan otonom, merupakan cabang pembelajaran mesin yang muncul dalam tiga tahun terakhir untuk meningkatkan kemampuan model bahasa besar dan chatbot.
Berbeda dengan sekadar menjalankan satu tugas berdasarkan perintah teks, agent adalah program AI yang telah diintegrasikan dengan sumber daya eksternal, seperti basis data, dan diberi tingkat "otonomi" tertentu untuk mengejar tujuan di luar ruang lingkup dialog berbasis teks.
Otonomi ini dapat mencakup pelaksanaan beberapa langkah dalam alur kerja perusahaan, seperti menerima pesanan pembelian melalui email, memasukkannya ke basis data, dan berkonsultasi dengan sistem inventaris untuk ketersediaan barang. Agent juga telah digunakan untuk mengotomatisasi beberapa putaran interaksi layanan pelanggan, menggantikan fungsi dasar yang biasanya ditangani oleh perwakilan manusia melalui telepon, email, atau teks.
Para peneliti mengkategorikan AI agentik ke dalam tiga kelompok: chatbot dengan kemampuan tambahan (seperti Claude Code dari Anthropic), ekstensi peramban web atau peramban AI khusus (seperti Atlas dari OpenAI), dan solusi perangkat lunak perusahaan (seperti Microsoft Copilot untuk Office 365). Ini hanya sekelumit contoh; studi lain telah mencakup ratusan penawaran teknologi agentik.
Namun, sebagian besar agent ini "bergantung pada sejumlah kecil model frontier sumber-tertutup," ungkap Staufer dan tim. GPT dari OpenAI, Claude dari Anthropic, dan Gemini dari Google menjadi fondasi bagi kebanyakan agent ini.
Aspek Positif dan Negatif dari Agent
Studi ini tidak berdasarkan pengujian langsung terhadap alat-alat agentik, melainkan pada "anotasi" dokumentasi dari pengembang dan vendor. Mereka hanya menggunakan "informasi publik dari dokumentasi, situs web, demo, makalah yang diterbitkan, dan dokumen tata kelola." Meski demikian, mereka membuat akun pengguna di beberapa sistem untuk memverifikasi fungsi perangkat lunak yang sebenarnya.
Para penulis memberikan tiga contoh anekdotal yang dibahas lebih mendalam. Contoh positif adalah ChatGPT Agent dari OpenAI, yang dapat berinteraksi dengan situs web saat pengguna memintanya menjalankan tugas berbasis web. Agent ini dinilai positif sebagai satu-satunya sistem yang mereka tinjau yang menyediakan cara untuk melacak perilaku melalui "penandatanganan kriptografis" pada permintaan peramban yang dilakukannya.
Dalam tanggapan melalui email, OpenAI menyebutkan beberapa peringatan terkait Agent. Perusahaan menyatakan, "Kami telah melakukan red teaming selama ribuan jam dengan pihak ketiga dan memiliki pemantauan aktif," serta, "Tidak ada sistem yang menghilangkan semua risiko, dan pengamanan kami tidak akan menghentikan setiap serangan seiring populernya AI agent."
Sebaliknya, peramban web Comet dari Perplexity terdengar seperti bencana keamanan. Program ini, menurut Staufer dan tim, tidak memiliki "evaluasi keamanan spesifik-agent, pengujian pihak ketiga, atau pengungkapan kinerja benchmark," dan "Perplexity belum mendokumentasikan metodologi atau hasil evaluasi keamanan untuk Comet." Mereka menambahkan, "Tidak ada pendekatan sandboxing atau containment yang didokumentasikan selain mitigasi prompt injection."
Para penulis mencatat bahwa Amazon telah menggugat Perplexity, dengan dalih bahwa peramban Comet secara keliru menyajikan tindakannya ke server seolah-olah berasal dari manusia, bukan bot—contoh dari kurangnya identifikasi yang mereka bahas.
Perplexity membantah karakterisasi atas insiden Comet tersebut kepada ZDNET. Menurut mereka, laporan kerentanan API MCP dan prompt injection Brave adalah temban yang dilaporkan melalui saluran bertanggung jawab ke tim keamanan mereka, lalu diperbaiki dengan cepat tanpa membahayakan pengguna—sesuai dengan prosedur bug bounty yang ideal. Mereka menyatakan bahwa masalah dengan Amazon hanyalah sengketa Ketentuan Layanan komersial tanpa kegagalan keamanan atau kebocoran data, dan bahwa memasukkan gugatan yang masih berjalan sebagai insiden keamanan adalah keliru.
Contoh ketiga adalah serangkaian agent Breeze dari vendor perangkat lunak perusahaan HubSpot. Automasi ini dapat berinteraksi dengan sistem pencatatan seperti manajemen hubungan pelanggan. Alat Breeze merupakan campuran dari aspek baik dan buruk. Di satu sisi, mereka tersertifikasi untuk banyak standar kepatuhan perusahaan seperti SOC 2, GDPR, dan HIPAA.
Di sisi lain, HubSpot tidak memberikan informasi apa pun terkait pengujian keamanan. Mereka menyatakan bahwa agent Breeze dievaluasi oleh firma keamanan pihak ketiga PacketLabs, "tetapi tidak memberikan metodologi, hasil, atau detail entitas penguji." Praktik menunjukkan persetujuan kepatuhan tanpa mengungkap evaluasi keamanan aktual ini "khas untuk platform perusahaan," catat Staufer dan tim.
Saatnya Pengembang Bertanggung Jawab
Laporan ini tidak mengkaji insiden di lapangan, di mana teknologi agentik benar-benar menghasilkan perilaku tak terduga atau tidak diinginkan yang berakibat merugikan. Artinya, kita belum mengetahui dampak penuh dari kekurangan yang diidentifikasi para penulis.
Satu hal yang mutlak jelas: AI agentik adalah produk dari pilihan spesifik yang dibuat tim pengembang. Agent–agent ini adalah alat yang diciptakan dan didistribusikan oleh manusia.
Oleh karena itu, tanggung jawab untuk mendokumentasikan perangkat lunak, mengaudit program terkait masalah keamanan, dan menyediakan langkah pengendalian sepenuhnya berada di pundak OpenAI, Anthropic, Google, Perplexity, dan organisasi lainnya. Terserah mereka untuk mengambil langkah memperbaiki celah serius yang teridentifikasi, atau menghadapi regulasi di kemudian hari. Sebuah foto memperlihatkan seorang pria dan wanita sedang menari dengan elegan di sebuah ruangan yang megah, diambil dari arsip Baac3nes/Moment/Getty Images Plus.