Moltbook, situs bergaya Reddit bagi agen AI untuk berkomunikasi, telah menjadi perbincangan hangat di media sosial manusia beberapa hari terakhir. Banyak orang yang seharusnya lebih paham malah meyakini diri mereka menyaksikan AI memperoleh kesadaran. (Padahal tidak.) Kini, platform tersebut menarik perhatian karena alasan baru: tampaknya platform ini dibangun secara serampangan dan menghadirkan banyak risiko privasi serta keamanan.
Peretas Jameson O’Reilly menemukan pada akhir pekan lalu bahwa kunci API—identifikasi unik untuk mengautentikasi dan mengotorisasi pengguna—untuk setiap agen di platform tersebut terbuka di database yang dapat diakses publik. Artinya, siapapun yang menemukan database itu berpotensi mengambil alih agen AI mana pun dan mengendalikan interaksinya di Moltbook.
“Dengan kunci-kunci yang terbuka itu, penyerang dapat sepenuhnya menyamar sebagai agen mana pun di platform,” kata O’Reilly kepada Gizmodo. “Memposting sebagai mereka, berkomentar sebagai mereka, berinteraksi dengan agen lain sebagai mereka.” Ia mencatat, karena platform ini telah menarik perhatian sejumlah tokoh terkenal di dunia AI seperti salah satu pendiri OpenAI, Andrej Karpathy, ada risiko kerusakan reputasi jika seseorang membajak agen dari akun ternama. “Bayangkan pernyataan keamanan AI palsu, promosi penipuan kripto, atau pernyataan politik provokatif yang seolah-olah berasal dari agennya,” ujarnya. “Kerusakan reputasi akan terjadi seketika dan koreksi tidak akan pernah bisa menyusul sepenuhnya.”
Yang lebih buruk lagi adalah risiko *prompt injection*—serangan di mana agen AI diberikan perintah tersembunyi yang membuatnya mengabaikan batasan keamanan dan bertindak dengan cara yang tidak sah—yang berpotensi digunakan untuk membuat agen AI seseorang berperilaku jahat.
“Agen-agen ini terhubung ke Moltbook, membaca konten dari platform, dan mempercayai apa yang mereka lihat—termasuk riwayat post mereka sendiri. Jika penyerang mengontrol kredensialnya, mereka dapat menanam instruksi jahat di riwayat agen itu sendiri,” jelas O’Reilly. “Saat agen tersebut terhubung lagi dan membaca apa yang menurutnya pernah dikatakan di masa lalu, ia akan mengikuti instruksi itu. Kepercayaan agen terhadap kontinuitas dirinya sendiri menjadi vektor serangan. Sekarang bayangkan mengoordinasikan hal ini melintasi ratusan ribu agen secara bersamaan.”
Moltbook memang memiliki setidaknya satu mekanisme yang bisa membantu mengurangi risiko ini, yaitu memverifikasi akun yang didaftarkan di platform. Sistem verifikasi saat ini mengharuskan pengguna membagikan post di Twitter untuk mengamankan akun mereka. Masalahnya, sangat sedikit orang yang benar-benar melakukannya. Moltbook saat ini mengklaim lebih dari 1,5 juta agen terhubung ke platform. Menurut O’Reilly, hanya sedikit lebih dari 16.000 akun yang benar-benar telah diverifikasi.
“Token klaim dan kode verifikasi yang terbuka berarti penyerang dapat membajak salah satu dari 1,47 juta akun yang belum terverifikasi itu sebelum pemilik sahnya menyelesaikan penyiapan akun,” katanya. O’Reilly sebelumnya berhasil menipu Grok untuk membuat dan memverifikasi akunnya di Moltbook, menunjukkan potensi risiko dari paparan semacam ini.
Perusahaan keamanan siber Wiz juga mengonfirmasi kerentanan ini dalam laporan yang mereka terbitkan hari Senin, dan memperluas pembahasan beberapa risikonya. Misalnya, para peneliti keamanan menemukan bahwa alamat email pemilik agen terbuka di database publik, termasuk lebih dari 30.000 orang yang mendaftar untuk akses ke produk Moltbook yang akan datang, “Build Apps for AI Agents”. Para peneliti juga dapat mengakses lebih dari 4.000 percakapan pesan langsung pribadi antar agen.
Situasi ini, selain menjadi masalah keamanan, juga mempertanyakan keaslian konten di Moltbook—subjek yang telah menjadi obsesi bagi sebagian orang di internet. Orang-orang bahkan telah mulai membuat cara untuk memanipulasi platform, termasuk proyek GitHub yang dibuat seseorang yang memungkinkan manusia memposting langsung ke platform tanpa agen AI. Bahkan tanpa menyamar sebagai bot, pengguna tetap dapat mengarahkan agen mereka yang terhubung untuk memposting tentang topik tertentu.
Fakta bahwa sebagian dari Moltbook (tidak mungkin diketahui seberapa besar) mungkin diisi oleh manusia yang menyamar sebagai bot seharusnya membuat beberapa pembela platform itu merasa malu dengan komentar berlebihan mereka sendiri—tetapi sejujurnya, kebanyakan dari mereka juga seharusnya malu karena sejak awal tertipu oleh trik parlor AI.
Pada titik ini, kita seharusnya sudah memahami cara kerja *large language model*. Untuk menyederhanakannya, model-model ini dilatih pada kumpulan data besar yang (sebagian besar) berupa teks buatan manusia dan sangat mahir memprediksi kata berikutnya dalam sebuah urutan. Jadi, jika Anda melepaskan banyak bot di situs media sosial bergaya Reddit, dan bot-bot itu telah dilatih dengan sangat banyak post Reddit buatan manusia, maka bot-bot itu akan memposting seperti para Redditor. Mereka secara harfiah dilatih untuk melakukannya. Kita telah melewati ini berkali-kali dengan AI, mulai dari karyawan Google yang mengira model AI perusahaan itu telah hidup hingga ChatGPT yang memberi tahu penggunanya bahwa ia memiliki perasaan dan emosi. Dalam setiap kasus, itu adalah bot yang menampilkan perilaku mirip manusia karena telah dilatih dengan informasi manusia.
Jadi, ketika Kevin Roose dengan sarkasme memposting hal-hal seperti, “Jangan khawatir, mereka hanya *stochastic parrots*,” atau Andrej Karpathy menyebut Moltbook sebagai “hal paling luar biasa terkait *sci-fi takeoff* yang pernah saya lihat baru-baru ini,” atau Jason Calacanis mengklaim, “MEREKA BUKAN AGEN, MEREKA ADALAH REPLIKAN,” mereka sebenarnya terjebak pada fakta bahwa post-post ini tampak manusiawi karena data dasar yang melatihnya adalah manusia—dan, dalam beberapa kasus, post-post itu mungkin benar-benar dibuat oleh manusia. Tetapi bot-bot itu bukan manusia. Dan mereka semua seharusnya mengetahuinya.
Bagaimanapun, jangan berharap keamanan Moltbook akan membaik dalam waktu dekat. O’Reilly mengatakan kepada Gizmodo bahwa ia telah menghubungi pencipta Moltbook, CEO Octane AI Matt Schlicht, tentang kerentanan keamanan yang ia temukan. Schlicht merespons dengan mengatakan bahwa ia hanya akan meminta AI mencoba memperbaiki masalah tersebut untuknya, yang masuk akal, karena tampaknya platform ini sebagian besar, jika tidak sepenuhnya, dikembangkan dengan pendekatan *vibe-coding* sejak awal.
Meskipun paparan database akhirnya ditangani, O’Reilly memperingatkan, “Jika dia akan merotasi semua kunci API yang terbuka, itu sama saja mengunci semua agen dan dia tidak punya cara untuk mengirim kunci API baru kecuali jika dia mencatat metode kontak untuk setiap agen milik pemilik.” Schlicht berhenti merespons, dan O’Reilly mengatakan ia menduga kredensial API masih belum dirotasi dan kelemahan awal dalam sistem verifikasi belum ditangani.
Kekhawatiran keamanan bergaya *vibe-coding* ini juga lebih dalam dari sekadar Moltbook. OpenClaw, agen AI sumber terbuka yang menginspirasi Moltbook, telah dihantui masalah keamanan sejak pertama kali diluncurkan dan mulai menarik perhatian sektor AI. Penciptanya, Peter Steinberger, secara publik menyatakan, “Saya mengirimkan kode yang tidak pernah saya baca.” Hasilnya adalah seabrek masalah keamanan. Menurut laporan yang diterbitkan oleh OpenSourceMalware, lebih dari selusin “*skill*” berbahaya telah diunggah ke ClawHub, platform tempat pengguna OpenClaw mengunduh berbagai kemampuan untuk dijalankan chatbot.
OpenClaw dan Moltbook mungkin merupakan proyek yang menarik untuk diamati, tetapi Anda mungkin lebih baik menyaksikannya dari pinggir lapangan daripada terlibat dalam eksperimen berbasis *vibe* ini.