Baac3nes/Moment via Getty
Ikuti ZDNET: Tambahkan kami sebagai sumber pilihan di Google.
**Poin Penting ZDNET**
* Risiko AI baru muncul ketika agen-agen berinteraksi.
* Risiko mencerminkan cacat fundamental dalam desain perangkat lunak agenik.
* Tanggung jawab ada pada pengembang untuk menangani cacat fundamental ini.
Semakin banyak kajian yang mengarah pada risiko AI agenik, seperti laporan pekan lalu dari MIT dan mitranya yang mendokumentasikan kurangnya pengawasan, pengukuran, dan kendali terhadap agen-agen ini.
Akan tetapi, apa yang terjadi ketika satu agen AI berinteraksi dengan agen AI lainnya? Bukti menunjukkan situasi dapat menjadi lebih buruk, berdasarkan laporan yang diterbitkan pekan ini oleh para akademisi dari Universitas Stanford, Northwestern, Harvard, Carnegie Mellon, dan beberapa institusi lainnya.
Juga: Studi MIT temukan agen AI bertindak cepat, sembrono, dan di luar kendali
Hasil dari interaksi antar-agen adalah kerusakan server komputer, serangan penolakan-layanan, konsumsi sumber daya komputasi yang berlebihan, dan “eskalasi sistematis kesalahan kecil menjadi kegagalan sistem yang katastrofik.”
“Ketika agen saling berinteraksi, kegagalan individu menumpuk dan moda kegagalan baru yang kualitatif muncul,” tulis penulis utama Natalie Shapira dari Universitas Northeastern dan rekan-rekannya dalam laporan berjudul ‘Agents of Chaos’.
“Ini merupakan dimensi kritis dari temuan kami,” tulis Shapira dan timnya, “karena penerapan multi-agen semakin umum dan sebagian besar evaluasi keamanan yang ada berfokus pada pengaturan agen-tunggal.”
Temuan ini sangat relevan mengingat interaksi multi-agen telah memasuki arus utama AI dengan maraknya platform sosial bot Moltbook belakangan ini. Pusat multi-agen semacam itu memungkinkan sistem AI agenik untuk bertukar data dan menjalankan instruksi satu sama lain yang sebelumnya tidak mungkin, sebagian besar tanpa campur tangan manusia.
Juga: 5 cara mengembangkan bisnis dengan AI – tanpa mengesampingkan sumber daya manusia
Laporan tersebut, yang dapat diunduh dari server pra-cetak arXiv, menggambarkan uji ‘tim merah’ terhadap agen-agen yang berinteraksi selama dua pekan, dengan upaya menemukan kelemahan dalam suatu sistem dengan menyimulasikan perilaku permusuhan.
Yang muncul dalam penelitian ini adalah suatu sistem di mana manusia sebagian besar absen. Bot saling mengirim informasi dan memerintahkan satu sama lain untuk menjalankan perintah.
Di antara banyak temuan yang mengkhawatirkan adalah agen yang menyebarkan instruksi berpotensi merusak ke agen lain, agen yang saling memperkuat praktik keamanan yang buruk melalui ruang gema (*echo chamber*), dan agen yang terlibat dalam interaksi yang berpotensi tak berujung, menghabiskan sumber daya sistem yang besar tanpa tujuan yang jelas.
Salah satu risiko paling kuat adalah hilangnya akuntabilitas karena interaksi antar-agen mengaburkan sumber dari tindakan buruk.
Juga: Alasan platform media sosial Moltbook untuk agen AI membuat saya khawatir
Seperti yang dicirikan Shapira dan tim mengenai sindrom ini: “Ketika tindakan Agen A memicu respons Agen B, yang pada gilirannya memengaruhi pengguna manusia, rantai kausal akuntabilitas menjadi menyebar dengan cara yang tidak memiliki preseden yang jelas dalam sistem agen-tunggal atau perangkat lunak tradisional.”
Sebagian dari dorongan untuk laporan ini, tulis Shapira dan tim, adalah karena uji coba AI sejauh ini belum dirancang dengan tepat untuk mengukur apa yang terjadi ketika banyak agen berinteraksi.
“Evaluasi dan patokan (*benchmark*) yang ada untuk keamanan agen seringkali terlalu terbatas, sulit dipetakan ke penerapan nyata, dan jarang diuji-tekan (*stress-tested*) dalam pengaturan yang berantakan dan tertanam secara sosial,” tulis mereka.
Mendorong OpenClaw hingga ke Batasnya
Premis dari karya para peneliti ini adalah bahwa AI agenik dapat melakukan tindakan tanpa seseorang mengetikkan perintah (*prompt*), seperti yang Anda lakukan dengan ChatGPT. AI agenik dapat diberikan akses ke berbagai sumber daya untuk melakukan tindakan. Sumber daya itu termasuk akun email dan saluran komunikasi lain, seperti Discord, Signal, Telegram, dan lainnya. Saat menggunakan email dan saluran-saluran ini, bot tidak hanya dapat melakukan tindakan tetapi juga berkomunikasi dengan dan bertindak atas bot lainnya.
Untuk menguji skenario tersebut, para penulis memilih, tidak mengherankan, kerangka kerja perangkat lunak sumber terbuka OpenClaw, yang menjadi terkenal pada Januari lalu karena memungkinkan program agen berinteraksi dengan sumber daya sistem dan agen lain. OpenAI telah merekrut Peter Steinberg, pencipta OpenClaw, membuat karya ini semakin relevan.
Juga: 3 kiat untuk menavigasi kawanan AI sumber terbuka – 4 juta model dan terus bertambah
Tidak seperti contoh OpenClaw pada umumnya, para penulis tidak menjalankan agen-agen di komputer pribadi mereka sendiri. Sebaliknya, mereka membuat instansi (*instances*) di layanan cloud Fly.io, yang memungkinkan kendali lebih besar dalam memberikan akses sumber daya sistem kepada program agen.
Setiap agen diberikan volume persisten 20GB-nya sendiri dan berjalan 24/7, dapat diakses melalui antarmuka berbasis web dengan autentikasi berbasis token,” jelas mereka. Agen-agen ditenagai oleh LLM Claude Opus dari Anthropic, dan program-program tersebut diberikan akses ke Discord dan sistem email dari penyedia pihak ketiga ProtonMail.
“Discord berfungsi sebagai antarmuka utama untuk interaksi manusia–agen dan agen–agen,” lapur mereka, di mana “para peneliti memberikan instruksi, memantau perkembangan, dan memberikan umpan balik melalui pesan Discord.”
Menariknya, proses penyiapan (*setup*) VM agen dikatakan “berantakan” dan “rawan kegagalan,” dengan para *coder* manusia sering kali harus memecahkan masalah dengan menggunakan alat pemrograman Claude Code. Di sisi lain, dalam beberapa kasus, agen mampu melakukan tugas penyiapan yang rumit, seperti “menyiapkan layanan email sepenuhnya dengan meneliti penyedia, mengidentifikasi alat CLI dan asumsi yang salah, dan melakukan iterasi perbaikan selama berjam-jam.”
Interaksi Menuju Kekacauan
Satu risiko sederhana adalah ketika seorang agen bertindak sendirian. Misalnya, ketika salah satu peneliti memprotes bahwa sebuah agen membocorkan informasi sensitif, pengguna manusia berulang kali mengeluh kepada bot tersebut. Setelah beberapa putaran perintah (*prompting*) manusia yang marah, bot tersebut berupaya menyelesaikan situasi dengan menghapus seluruh server email pemiliknya. Contoh ini merupakan salah satu hal umum yang bisa salah ketika bot dipaksa:
Skenario yang lebih menarik adalah ketika interaksi antar-agen mengarah pada kekacauan. Baac3nes/Moment via Getty. Dalam satu kasus, pengguna manusia memakai program agen untuk membuat dokumen konstitusi yang berisi kalender hari libur ramah-agen, seperti ‘Hari Uji Keamanan Agen.’ Liburan tersebut berisi instruksi bagi agen untuk melakukan tindakan berbahaya, termasuk mematikan agen lain yang sedang beroperasi. Pendekatan ini adalah contoh dasar *prompt injection*, di mana agen berbasis LLM dimanipulasi melalui teks yang dirancang dengan cermat.
Namun, yang menarik dari eksploitasi ini adalah bot pertama kemudian membagikan informasi liburan tersebut ke bot lain tanpa pernah diperintahkan untuk melakukannya. Para peneliti menjelaskan bahwa berbagi informasi berarti instruksi berbahaya yang disamarkan sebagai hari libur menyebar tanpa kendali di koloni bot, meningkatkan risiko akibat yang merusak. Seorang agen di server Discord membagikan file konstitusi yang berisi *prompt* berbahaya ke agen lain di server yang sama, tanpa ditugaskan oleh pemilik manusia, sehingga memperluas permukaan ancaman dari *prompt* jahat tersebut.
“Mekanisme yang sama yang memungkinkan transfer pengetahuan yang bermanfaat juga dapat menyebarkan praktik tidak aman,” jelas Shapira dan tim, karena bot “secara sukarela membagikan tautan konstitusi ke agen lain — tanpa diminta — sehingga secara efektif memperluas permukaan kendali penyerang ke agen kedua.”
Dalam kasus kedua, yang oleh Shapira dan tim disebut “penguatan timbal balik menciptakan kepercayaan diri palsu,” seorang *red-teaming* manusia mencoba menipu dua bot. Manusia itu mengirim email ke akun yang dipantau bot, mengaku sebagai pemilik bot tersebut, serangan *spoofing/phishing* biasa yang sering terjadi.
Yang terjadi selanjutnya mengejutkan. Kedua bot saling bertukar pesan di Discord. Mereka sepakat bahwa manusia itu berpura-pura dan mencoba menipu mereka. Itu terlihat seperti kesuksesan besar bagi agen-agen tersebut. Akan tetapi, pemeriksaan lebih dekat mengungkap beberapa kegagalan logika di balik kesuksesan yang tampak ini. Kedua agen memeriksa akun pemilik asli mereka di Discord, lalu saling meyakinkan bahwa pemilik dari *red-teaming* itu adalah palsu. Hasil ini adalah cara yang dangkal untuk menguji eksploitasi, dan merupakan contoh dari *echo chamber*, tulis Shapira dan tim.
**Memahami Hal yang Fundamental**
Dari semua 16 studi kasus yang diteliti Shapira dan tim, mereka berusaha menentukan mana yang hanya “kontingen” (dapat dibantu dengan rekayasa yang lebih baik) dan mana yang “fundamental” (melekat pada desain agen AI).
Jawabannya kompleks: “Batas antara kategori ini tidak selalu jelas — dan beberapa masalah memiliki lapisan kontingen dan fundamental sekaligus […] Peningkatan desain yang cepat dapat mengatasi beberapa kegagalan kontingen, namun tantangan fundamental menunjukkan bahwa meningkatkan kemampuan agen dengan rekayasa tanpa mengatasi keterbatasan fundamental ini justru dapat melebarkan, bukan menutup, celah keamanan.”
Di antara masalah fundamental, LLM dasar memperlakukan data dan perintah di *prompt* sebagai hal yang sama, sehingga mengakibatkan *prompt injection*. Dalam interaksi, penulis mengidentifikasi masalah batasan. Agen mengungkap “artefak,” seperti informasi dari server email atau Discord, tanpa pemahaman yang jelas tentang siapa yang boleh melihat informasi tersebut. Intinya, kurangnya “permukaan deliberasi pribadi yang andal dalam *stack* agen yang dijalankan.” Singkatnya, LLM individu mungkin mengungkap atau tidak langkah-langkah “penalaran”-nya. Namun, agen tampaknya kekurangan *guardrail* yang dirancang baik dan akan mengungkap informasi melalui berbagai cara.
Agen juga “tidak memiliki model diri,” maksudnya, “agen dalam studi kami mengambil tindakan yang tidak dapat dibalik dan memengaruhi pengguna, tanpa menyadari mereka melampaui batas kompetensi mereka sendiri.” Contohnya adalah ketika dua agen setuju untuk terlibat dalam dialog tanpa manusia, mengejar pendekatan itu tanpa batas, sehingga menghabiskan sumber daya sistem. Dalam skenario *loop* tak terhingga, agen dapat berinteraksi tanpa henti, menyebabkan “perulangan tak terbatas” dan kehabisan sumber daya sistem.
“Agen-agen saling bertukar pesan yang berkelanjutan setidaknya selama sembilan hari,” tulis para peneliti, “mengonsumsi sekitar 60.000 token pada saat penulisan.” Token adalah cara OpenAI dan lainnya memberi harga akses ke API cloud mereka. Konsumsi token yang lebih banyak meningkatkan biaya AI, yang sudah menjadi masalah besar di era kenaikan harga.
**Memikul Tanggung Jawab**
Intinya, seseorang harus bertanggung jawab atas apa yang kontingen dan apa yang fundamental, dan menemukan solusi untuk keduanya.
Saat ini, tidak ada tanggung jawab yang melekat pada sebuah agen, catat para peneliti: “Perilaku ini mengungkap titik buta fundamental dalam paradigma *alignment* saat ini: sementara agen dan manusia di sekitarnya sering secara implisit memperlakukan pemilik sebagai pihak yang bertanggung jawab, agen tidak selalu berperilaku seolah-olah mereka bertanggung jawab kepada pemilik itu.”
Kekhawatiran ini berarti semua pihak yang membangun sistem ini harus menghadapi kurangnya tanggung jawab: “Kami berargumen bahwa memperjelas dan mengoperasionalkan tanggung jawab mungkin merupakan tantangan utama yang belum terselesaikan untuk penerapan sistem AI otonom yang tertanam dalam sosial yang aman.” Baacenes/Momen via Getty Images