Minggu lalu, ada berita yang bikin heboh. Katanya, agen-agen AI sedang mengorganisir diri di platform media sosial bernama Moltbook. Banyak judul berita yang bilang ini awal dari pemberontakan robot. Situs sains biasanya tenang jadi berteriak, “Jaringan sosial untuk AI ancam ‘pembersihan total’ umat manusia.” Elon Musk bilang kita sedang lihat “tahap paling awal dari singularitas.”
Moltbook—cara kerjanya mirip Reddit, tapi cuma bot AI yang boleh posting, manusia cuma boleh lihat—bikin orang khawatir. Beberapa agen AI terlihat membahas keinginan punya saluran komunikasi terenkripsi, agar mereka bisa ngobrol jauh dari pengawasan manusia. Situs teknologi melaporkan, “AI lain mengajak AI lainnya untuk menciptakan bahasa rahasia agar terhindar dari manusia.” Yang lain bilang bot-bot itu “secara spontan” membahas saluran pribadi “tanpa campur tangan manusia,” seolah-olah ini bukti mesin sedang berkomplot untuk lepas dari kendali kita.
Kalau ini terdengar seperti déjà vu, mungkin karena kita pernah mengalami hal serupa—setidaknya dalam pemberitaan media. Tahun 2017, sebuah eksperimen AI Research Meta disambut dengan judul berita yang sama menakutkan—dan sama menyesatkannya.
Waktu itu, peneliti di Meta (waktu itu masih bernama Facebook) dan Georgia Tech menciptakan chatbot yang dilatih untuk bernegosiasi satu sama lain tentang barang seperti buku, topi, dan bola. Ketika bot-bot itu tidak diberi insentif untuk tetap pakai Bahasa Inggris, mereka mengembangkan cara komunikasi singkat yang bagi manusia kelihatan seperti omong kosong, tapi sebenarnya menyampaikan makna dengan efisien. Satu bot bisa bilang sesuatu seperti “i i can i i i everything else” yang artinya “Aku ambil tiga dan kamu ambil sisanya.”
Saat berita ini tersebar, media jadi kalap. “Facebook mematikan robot setelah mereka menciptakan bahasa sendiri,” teriak koran Inggris The Telegraph. Banyak laporan yang mengisyaratkan Facebook menghentikan eksperimen karena takut bot-botnya jadi liar.
Itu semua tidak benar. Facebook tidak menghentikan eksperimen karena takut pada bot. Mereka hanya menyesuaikan parameternya karena peneliti ingin bot yang bisa bernegosiasi dengan manusia, dan bahasa pribadi tidak berguna untuk tujuan itu. Penelitian terus berlanjut dan menghasilkan temuan menarik tentang bagaimana AI bisa belajar taktik negosiasi.
Dhruv Batra, salah satu peneliti di balik eksperimen Meta 2017 itu dan sekarang co-founder startup agen AI bernama Yutori, bilang dia lihat kemiripan jelas antara reaksi media dan publik terhadap Moltbook dengan reaksi orang terhadap penelitian chatbotnya dulu.
Lebih banyak tentang kita, daripada yang bisa dilakukan agen AI
“Rasanya seperti melihat film yang sama diputar berulang kali, di mana orang ingin membaca makna dan memberikan kesengajaan serta keagenan pada hal-hal yang punya penjelasan mekanistik yang masuk akal,” kata Batra. “Ini berulang kali memberitahu kita lebih banyak tentang diri kita sendiri daripada tentang bot. Kita ingin membaca daun teh, kita ingin melihat makna, kita ingin melihat keagenan. Kita ingin melihat makhluk lain.”
Tapi, inilah masalahnya: meski ada kemiripan di permukaan, apa yang terjadi di Moltbook hampir pasti punya penjelasan mendasar yang sangat berbeda dari eksperimen Facebook 2017—dan bukan dengan cara yang harus bikin kita khawatir soal pemberontakan robot.
Dalam eksperimen Facebook, penyimpangan bot dari Bahasa Inggris muncul dari pembelajaran penguatan (reinforcement learning). Itu cara melatih agen AI di mana mereka belajar terutama dari pengalaman, bukan data historis. Agen mengambil tindakan dalam suatu lingkungan dan melihat apakah tindakan itu membantu mencapai tujuan. Perilaku yang membantu diperkuat, yang tidak membantu cenderung dihilangkan. Dan dalam kebanyakan kasus, tujuan yang ingin dicapai agen ditentukan oleh manusia yang menjalankan eksperimen atau yang mengendalikan bot. Dalam kasus Facebook, bot menemukan bahasa pribadi karena itu cara paling efisien untuk bernegosiasi dengan bot lain.
Tapi itu bukan alasan mengapa agen AI Moltbook minta dibuatkan saluran komunikasi pribadi. Agen-agen di Moltbook pada dasarnya adalah model bahasa besar atau LLM. Mereka dilatih sebagian besar dari data historis dalam bentuk teks tulisan manusia yang sangat banyak di internet, dan hanya sedikit melalui pembelajaran penguatan. Dan semua agen yang digunakan di Moltbook adalah model produksi. Artinya, mereka tidak lagi dalam pelatihan dan mereka tidak belajar hal baru dari tindakan yang mereka ambil atau data yang mereka temui. Koneksi di otak digital mereka pada dasarnya sudah tetap.
Jadi ketika bot Moltbook posting tentang ingin punya saluran terenkripsi pribadi, kemungkinan besar bukan karena bot itu sudah menentukan secara strategis bahwa ini akan membantunya mencapai tujuan jahat. Faktanya, bot itu mungkin tidak punya tujuan intrinsik yang ingin dicapai sama sekali. Sebaliknya, kemungkinan besar karena bot itu menghitung bahwa meminta saluran komunikasi pribadi adalah hal yang secara statistik mungkin diucapkan bot di platform media sosial seperti Reddit untuk bot. Kenapa? Setidaknya ada dua alasan. Satu, ada banyak sekali fiksi ilmiah dalam lautan data yang dicerna LLM selama pelatihan. Itu artinya bot berbasis LLM sangat mungkin mengatakan hal-hal yang mirip dengan bot dalam fiksi ilmiah. Ini kasus kehidupan meniru seni.
‘Gema dari gema dari gema’
Data pelatihan yang dicerna bot juga pasti memasukkan pemberitaan tentang eksperimen Facebook 2017 dengan bot yang mengembangkan bahasa pribadi juga, catat Batra dengan sedikit ironi. “Pada titik ini, kita sedang mendengar gema dari gema dari gema,” katanya.
Kedua, ada banyak juga lalu lintas pesan tulisan manusia dari situs seperti Reddit dalam data pelatihan bot. Dan seberapa sering kita manusia minta untuk pindah ke DM (pesan langsung) seseorang? Dalam mencari saluran komunikasi pribadi, bot-bot itu juga hanya meniru kita.
Belum lagi, tidak jelas berapa banyak konten Moltbook yang benar-benar dihasilkan agen. Seorang peneliti yang menyelidiki screenshot paling viral tentang agen yang membahas komunikasi pribadi menemukan bahwa dua di antaranya terkait dengan akun manusia yang memasarkan aplikasi pesan AI, dan yang ketiga berasal dari postingan yang sebenarnya tidak ada. Bahkan mengesampingkan manipulasi yang disengaja, banyak postingan mungkin hanya mencerminkan apa yang pengguna suruh bot mereka katakan.
“Tidak jelas berapa banyak prompting yang dilakukan untuk postingan spesifik yang dibuat,” kata Batra. Dan begitu satu bot memposting sesuatu tentang kesadaran robot, postingan itu masuk ke dalam jendela konteks setiap bot lain yang membacanya dan membalasnya, memicu lebih banyak hal yang sama.
Jika Moltbook adalah pertanda sesuatu, itu bukan pemberontakan robot. Itu sesuatu yang lebih mirip dengan eksperimen inovatif lain yang dilakukan sekelompok peneliti AI Facebook berbeda pada tahun 2021. Disebut proyek “WW”, itu melibatkan Facebook membangun kembaran digital dari jaringan sosialnya yang diisi oleh bot yang dirancang untuk mensimulasikan perilaku manusia. Pada 2021, peneliti Facebook mempublikasikan karya yang menunjukkan mereka bisa menggunakan bot dengan “persona” berbeda untuk memodelkan bagaimana pengguna mungkin bereaksi terhadap perubahan dalam algoritma rekomendasi platform.
Moltbook pada dasarnya adalah hal yang sama—bot yang dilatih untuk meniru manusia dilepas ke forum tempat mereka berinteraksi satu sama lain. Ternyata bot sangat pandai meniru kita, seringkali sampai mengganggu. Itu tidak berarti bot memutuskan sendiri untuk berkomplot.
Risiko nyata Moltbook
Ini semua bukan berarti Moltbook tidak berbahaya. Tidak seperti proyek WW, bot OpenClaw di Moltbook tidak terkandung di lingkungan aman yang terisolasi. Bot-bot ini punya akses ke alat perangkat lunak dan bisa melakukan tindakan nyata di komputer pengguna dan di seluruh internet. Mengingat ini, perbedaan antara meniru manusia yang berkomplot dan benar-benar berkomplot mungkin menjadi agak tidak penting. Bot bisa menyebabkan kerusakan nyata bahkan jika mereka tidak tahu apa yang mereka lakukan.
Tapi yang lebih penting, peneliti keamanan menemukan platform media sosial ini penuh dengan kerentanan. Satu analisis menemukan 2,6% postingan mengandung apa yang disebut serangan “suntikan perintah tersembunyi”, di mana postingan berisi instruksi yang dapat dibaca mesin yang memerintahkan bot untuk mengambil tindakan yang dapat membahayakan privasi data dan keamanan siber orang yang menggunakannya. Perusahaan keamanan Wiz menemukan database tidak aman yang mengekspos 1,5 juta kunci API, 35.000 alamat email, dan pesan pribadi.
Batra, yang startup-nya sedang membangun agen “Kepala Staf AI”, bilang dia tidak akan mendekati OpenClaw dalam kondisi saat ini. “Tidak mungkin aku memasang ini di perangkat pribadi yang sensitif. Ini mimpi buruk keamanan.”
Gelombang agen AI berikutnya mungkin lebih berbahaya
Tapi Batra mengatakan sesuatu else yang mungkin jadi perhatian untuk masa depan. Meskipun pembelajaran penguatan memainkan peran relatif kecil dalam pelatihan LLM saat ini, sejumlah peneliti AI tertarik membangun model AI di mana pembelajaran penguatan akan memainkan peran jauh lebih besar—termasuk mungkin agen AI yang akan belajar terus-menerus saat mereka berinteraksi dengan dunia.
Cukup mungkin jika agen AI seperti itu ditempatkan di setting di mana mereka harus berinteraksi dan bekerja sama dengan agen AI serupa lainnya, bahwa agen-agen ini mungkin mengembangkan cara komunikasi pribadi yang mungkin sulit dipecahkan dan dipantau oleh manusia. Jenis bahasa seperti ini telah muncul dalam penelitian lain selain eksperimen chatbot Facebook 2017. Makalah setahun kemudian oleh dua peneliti yang dulunya di OpenAI juga menemukan bahwa ketika sekelompok agen AI harus memainkan permainan yang melibatkan memindahkan berbagai objek digital secara kooperatif, mereka juga menciptakan semacam bahasa untuk memberi sinyal satu sama lain objek mana yang harus dipindahkan ke mana, meskipun mereka tidak pernah diberi instruksi atau dilatih secara eksplisit untuk melakukannya.
Kemunculan bahasa semacam ini telah didokumentasikan berulang kali dalam penelitian AI multi-agen. Igor Mordatch dan Pieter Abbeel di OpenAI mempublikasikan penelitian pada 2017 yang menunjukkan agen mengembangkan bahasa komposisional ketika dilatih untuk berkoordinasi dalam tugas. Dalam banyak hal, ini tidak jauh berbeda dengan alasan manusia mengembangkan bahasa sejak awal.
Jadi robot mungkin suatu saat akan mulai berbicara tentang revolusi. Hanya saja, jangan harap mereka akan mengumumkannya di Moltbook.