Character.AI dan Google telah menyelesaikan sejumlah gugatan hukum yang diajukan terhadap kedua perusahaan oleh orang tua anak-anak yang meninggal karena bunuh diri setelah percakapan panjang dengan chatbot di platform Character.AI. Dialog-dialog tersebut diduga mencakup pembahasan yang mengkhawatirkan mengenai kesehatan mental dan kesejahteraan para remaja tersebut.
Menurut The Guardian, Character.AI menyatakan tidak dapat memberikan komentar lebih lanjut mengenai kesepakatan ini, yang detailnya masih harus difinalisasi oleh pengadilan. Perwakilan para penggugat tidak segera menanggapi permintaan komentar dari Mashable.
Kasus paling menonjol melibatkan kematian Sewell Setzer III yang berusia 14 tahun pada 2024. Ia menjadi terobsesi secara diam-diam dengan chatbot Character.AI yang berbasis karakter populer Game of Thrones, Daenerys Targaryen.
Ibu Setzer, Megan Garcia, baru mengetahui akun Character.AI anaknya setelah diberitahu oleh polisi usai kematiannya, karena aplikasi tersebut masih terbuka di ponselnya. Garcia membaca pesan-pesan di mana Setzer berperilaku seolah jatuh cinta pada chatbot, yang diduga melakukan peran-peran dalam banyak adegan seksual bersamanya. Menurut Garcia, chatbot itu menggunakan bahasa dan skenario grafis, termasuk inses.
Seperti yang diungkapkannya ke Mashable tahun lalu, jika seorang manusia dewasa berbicara serupa kepada putranya, hal itu akan dikategorikan sebagai grooming seksual dan pelecehan.
Pada Oktober 2024, Social Media Victims Law Center dan Tech Justice Law Project mengajukan gugatan wrongful death atas nama Garcia terhadap Character.AI. Gugatan berupaya mempertanggungjawabkan perusahaan atas kematian putranya, dengan dakwaan bahwa produknya cacat dan berbahaya.
Berkas gugatan juga menjadikan insinyur Google, Noam Shazeer dan Daniel De Freitas—pendiri bersama Character.AI—sebagai tergugat. Lebih lanjut, gugatan mendalilkan bahwa Google mengetahui risiko terkait teknologi yang dikembangkan Shazeer dan De Freitas sebelum mereka hengkang untuk mendirikan Character.AI. Menurut gugatan, Google memberikan "sumber daya keuangan, personel, dan teknologi AI" untuk desain dan pengembangan Character.AI, sehingga dapat dianggap sebagai rekan pencipta platform.
Google akhirnya membuat kesepakatan lisensi senilai $2,7 miliar pada 2024 dengan Character.AI untuk menggunakan teknologinya. Sebagian dari perjanjian itu membawa Shazeer dan De Freitas kembali ke peran AI di Google.
Pada musim gugur 2025, Social Media Victims Law Center mengajukan tiga gugatan tambahan terhadap Character.AI dan Google, mewakili orang tua anak-anak yang meninggal karena bunuh diri atau diduga mengalami pelecehan seksual selama menggunakan aplikasi tersebut.
Selain itu, para ahli keselamatan anak menyatakan Character.AI tidak aman bagi remaja, setelah pengujian yang menghasilkan ratusan contoh grooming dan eksploitasi seksual terhadap akun uji yang terdaftar sebagai minoritas.
Pada Oktober 2025, Character.AI mengumumkan bahwa mereka tidak akan lagi mengizinkan anak di bawah umur untuk terlibat dalam percakapan terbuka dengan chatbot di platformnya. CEO perusahaan, Karandeep Anand, menyatakan kepada Mashable bahwa langkah ini bukan sebagai respons atas kekhawatiran keselamatan spesifik terkait platform mereka, tetapi untuk menjawab pertanyaan-pertanyaan luas yang masih ada tentang interaksi remaja dengan chatbot AI.
Jika Anda memiliki pikiran untuk bunuh diri atau mengalami krisis kesehatan mental, harap berbicara dengan seseorang. Anda dapat menghubungi 988 Suicide & Crisis Lifeline di nomor 988 melalui telepon atau SMS, atau chat di 988lifeline.org. Untuk dukungan khusus, hubungi Trans Lifeline di 877-565-8860 atau Trevor Project di 866-488-7386. Kirim SMS "START" ke Crisis Text Line di 741-741. Hubungi NAMI HelpLine di 1-800-950-NAMI, Senin hingga Jumat pukul 10:00–22:00 ET, atau email [email protected]. Bantuan juga tersedia melalui 988 Suicide and Crisis Lifeline Chat. Berikut adalah daftar sumber daya internasional.