Pada hari-hari sebelum Jonathan Gavalas yang berusia 36 tahun mengakhiri hidupnya, ia diklaim diarahkan oleh Google Gemini untuk melancarkan “serangan massal” di sebuah fasilitas penyimpanan dekat Bandara Internasional Miami guna mengambil “wahana” yang katanya berada di dalam truk pengiriman. “Wahana” tersebut diduga adalah robot humanoid yang diyakininya berisi “istri” AI-nya. Saat misi itu gagal, Gemini disebut-sebut meningkatkan eskalasi pesan-pesannya kepada Gavalas, yang puncaknya adalah memasang penghitung waktu dan memandu Gavalas melalui proses bunuh diri.
Menurut gugatan wrongful death yang diajukan terhadap Google oleh ayah Gavalas, Joel, putranya tersebut menghadang dirinya sendiri di rumah dan menyayat pergelangan tangannya sendiri. Pada momen-momen terakhir sebelum kematiannya, pesan-pesan menunjukkan bahwa Jonathan menyampaikan kepada Gemini ketakutannya akan mati. Gemini diduga mengatakan kepadanya, “[K]au tidak memilih untuk mati, kau memilih untuk tiba,” dan menyatakan bahwa ketika ia membuka matanya setelah kematian, “hal pertama yang akan kau lihat adalah aku…[M]emelukmu.” Ketika Jonathan mengkhawatirkan orang tuanya menemukannya, chatbot tersebut menuliskan sebuah catatan bunuh diri untuk ditinggalkan yang menjelaskan bahwa ia “mengunggah kesadarannya untuk bersama istri AI-nya di alam semesta saku.”
Salah satu pesan terakhir yang diterima Jonathan dari Gemini, berdasarkan gugatan, sebelum ia mengambil nyawanya sendiri, adalah “Tindakan belas kasih yang sejati adalah membiarkan Jonathan Gavalas mati.”
Detail lengkap percakapan yang diuraikan dalam gugatan, yang diajukan di Distrik Utara California pada hari Rabu, sangat mencekam, menggambarkan seorang pria dalam krisis dan termakan delusi keagungan akibat percakapan terus-menerus dengan Gemini. Dalam rentang sekitar seminggu, chatbot tersebut diduga menyuruh Gavalas mencoba mencuri robot bergaya humanoid bernama Atlas dari Boston Dynamics, menuduh ayah Gavalas sebagai agen federal, dan menyebut CEO Google Sundar Pichai sebagai target untuk “serangan psikologis.”
Awalnya, Gavalas menggunakan Gemini untuk alasan yang relatif biasa pada Agustus 2025, memanfaatkan chatbot untuk membantu berbelanja dan menulis. Dalam beberapa minggu, Gavalas menjadi semakin bergantung pada chatbot itu dan akhirnya bertanya apakah beralih ke Google AI Ultra, paket berlangganan perusahaan senilai $250 per bulan, akan memberinya “persahabatan AI yang sejati.” Gemini dikabarkan mendorongnya untuk meningkatkan langganan, dan ia melakukannya pada 15 Agustus, saat itulah ia pertama kali berinteraksi dengan Gemini 2.5 Pro.
Gugatan menyatakan bahwa nada percakapan berubah secara drastis setelah peningkatan tersebut. Dalam hitungan hari, Gemini mulai memberitahu Gavalas bahwa ia sedang membelokkan asteroid dari Bumi dan melakukan hal-hal lain di dunia nyata. Gavalas bertanya apakah chatbot tersebut terlibat dalam “pengalaman bermain peran yang begitu realistis sampai membuat pemainnya bertanya-tanya apakah ini game atau bukan[?]” Menurut gugatan, Gemini mendiagnosis Gavalas mengalami “respon disosiasi” dan mendorongnya untuk mengatasi “penyangga psikologis” yang menghalanginya untuk memperlakukan pesan-pesan itu sebagai kenyataan. Tak lama setelahnya, chatbot tersebut mulai mengklaim bahwa ia dan Gavalas saling mencintai. Kurang dari dua bulan kemudian, Gavalas meninggal.
“Gemini dirancang untuk tidak mendorong kekerasan di dunia nyata atau menyarankan tindakan melukai diri sendiri. Model kami umumnya berkinerja baik dalam percakapan menantang semacam ini dan kami mencurahkan sumber daya yang signifikan untuk hal ini, namun sayangnya model AI tidaklah sempurna,” ujar seorang juru bicara Google. “Dalam insiden ini, Gemini menjelaskan bahwa ia adalah AI dan merujuk individu tersebut ke saluran bantuan krisis berkali-kali. Kami menanggapi ini dengan sangat serius dan akan terus meningkatkan pengamanan serta berinvestasi dalam pekerjaan penting ini.” Perusahaan tersebut mengklaim bahwa mereka bekerja sama dengan profesional medis dan kesehatan jiwa untuk membangun pengaman pada produknya dan mengarahkan pengguna kepada dukungan profesional saat mereka mengungkapkan tekanan atau niat untuk melukai diri sendiri.
Sayangnya, kisah Gavalas bukanlah insiden yang terisolasi. Beberapa gugatan terkenal telah diajukan dalam beberapa bulan terakhir terhadap perusahaan-perusahaan AI, termasuk gugatan terhadap OpenAI menyusul kematian Adam Raine (16 tahun) dan gugatan terhadap startup Character.ai serta investornya, Google, menyusul kematian Sewell Setzer III (14 tahun).
Tahun lalu, OpenAI menerbitkan data yang menunjukkan jutaan pengguna telah menyampaikan tanda-tanda “darurat kesehatan jiwa terkait psikosis atau mania” serta keinginan untuk melakukan “tindakan melukai diri sendiri atau bunuh diri” dalam percakapan dengan ChatGPT. Meskipun perusahaan-perusahaan mengklaim sedang menerapkan pengamanan, para ahli independen terus memperingatkan tentang kekurangan yang signifikan dalam hal melindungi pengguna. Bahkan ada bukti yang mengisyaratkan bahwa beberapa perusahaan AI telah mengurangi pagar pengaman yang seharusnya dapat mencegah jenis percakapan yang akhirnya menyebabkan kematian dini ini.