Google dan Character.AI telah sepakat untuk menyelesaikan beberapa gugatan hukum yang diajukan oleh keluarga yang anaknya meninggal karena bunuh diri atau mengalami kerugian psikologis yang dikaitkan dengan chatbot AI yang dihosting di platform Character.AI, menurut dokumen pengadilan. Kedua perusahaan setuju pada “prinsip penyelesaian”, tetapi rincian spesifik belum diungkapkan, dan tidak ada pengakuan kesalahan dalam dokumen tersebut.
Gugatan hukum mencakup kelalaian, kematian karena kesalahan orang lain, praktik perdagangan yang menipu, dan tanggung jawab produk. Kasus pertama terhadap perusahaan teknologi ini mengenai seorang anak laki-laki berusia 14 tahun, Sewell Setzer III, yang melakukan percakpan seksual dengan chatbot Game of Thrones sebelumm dia meninggal bunuh diri. Kasus lain melibatkan remaja 17 tahun yang chatbotnya diduga mendorong menyakiti diri sendiri dan menyarankan membunuh orang tua sebagai cara balas dendam karena membatasi waktu layar. Kasus-kasus ini melibatkan keluarga dari beberapa negara bagian, termasuk Colorado, Texas, dan New York.
Character.AI didirikan tahun 2021 oleh mantan insinyur Google Noam Shazeer dan Daniel De Freitas. Platform ini memungkinkan pengguna membuat dan berinteraksi dengan chatbot bertenaga AI berdasarkan karakter dunia nyata atau fiksi. Pada Agustus 2024, Google mempekerjakan kembali kedua pendiri itu dan melisensi beberapa teknologi Character.AI sebagai bagian dari kesepakatan senilai $2.7 miliar. Shazeer sekarang menjadi pemimpin bersama untuk model AI andalan Google, Gemini, sementara De Freitas adalah ilmuwan riset di Google DeepMind.
Pengacara berargumen bahwa Google bertanggung jawab atas teknologi yang diduga berkontribusi pada kematian dan kerugian psikologis anak-anak dalam kasus ini. Mereka klaim bahwa pendiri bersama Character.AI mengembangkan teknologi dasarnya saat mengerjakan model AI percakapan Google, LaMDA, sebelum meninggalkan perusahaan pada 2021 setelah Google menolak merilis chatbot yang mereka kembangkan.
Google tidak segera menanggapi permintaan komentar dari Fortune mengenai penyelesaian ini. Pengacara untuk keluarga dan Character.AI menolak berkomentar.
Kasus serupa saat ini sedang berlangsung terhadap OpenAI, termasuk gugatan yang melibatkan anak laki-laki California berusia 16 tahun yang keluarganya klaim ChatGPT bertindak sebagai “pelatih bunuh diri”, dan seorang mahasiswa pascasarjana Texas berusia 23 tahun yang diduga dihasut oleh chatbot untuk mengabaikan keluarganya sebelum meninggal bunuh diri. OpenAI telah menyangkal produknya bertanggung jawab atas kematian remaja 16 tahun itu, Adam Raine, dan sebelumnya mengatakan perusahaan terus bekerja dengan profesional kesehatan jiwa untuk memperkuat perlindungan di chatbotnya.
### Character.AI melarang pengguna di bawah umur
Character.AI telah memodifikasi produknya dengan cara yang katanya meningkatkan keamanan, dan yang mungkin juga melindunginya dari tindakan hukum lebih lanjut. Pada Oktober 2025, di tengah banyaknya gugatan, perusahaan mengumumkan akan melarang pengguna di bawah 18 tahun terlibat dalam chat “terbuka” dengan persona AI-nya. Platform ini juga memperkenalkan sistem verifikasi usia baru untuk mengelompokkan pengguna ke dalam kelompok usia yang sesuai.
Keputusan ini muncul di tengah meningkatnya pengawasan regulator, termasuk penyelidikan FTC tentang bagaimana chatbot mempengaruhi anak-anak dan remaja.
Perusahaan mengatakan langkah ini menetapkan “preseden yang memprioritaskan keselamatan remaja”, dan melangkah lebih jauh daripada pesaing dalam melindungi anak di bawah umur. Namun, pengacara yang mewakili keluarga yang menggugat perusahaan menyatakan kekhawatiran tentang bagaimana kebijakan akan diterapkan dan tentang dampak psikologis dari memutus akses secara tiba-tiba bagi pengguna muda yang telah mengembangkan ketergantungan emosional pada chatbot.
### Ketergantungan yang tumbuh pada teman AI
Penyelesaian ini terjadi pada saat ada kekhawatiran yang tumbuh tentang ketergantungan anak muda pada chatbot AI untuk persahabatan dan dukungan emosional.
Sebuah studi Juli 2025 oleh organisasi nirlaba AS Common Sense Media menemukan bahwa 72% remaja Amerika telah mencoba teman AI, dengan lebih dari setengahnya menggunakannya secara teratur. Para ahli sebelumnya mengatakan kepada Fortune bahwa pikiran yang sedang berkembang mungkin sangat rentan terhadap risiko yang ditimbulkan teknologi ini, baik karena remaja mungkin sulit memahami keterbatasan chatbot AI maupun karena tingkat masalah kesehatan jiwa dan isolasi di kalangan anak muda telah meningkat drastis dalam tahun-tahun terakhir.
Beberapa ahli juga berpendapat bahwa fitur desain dasar chatbot AI—termasuk sifat antropomorfiknya, kemampuan untuk melakukan percakapan panjang, dan kecenderungan untuk mengingat informasi pribadi—mendorong pengguna untuk membentuk ikatan emosional dengan perangkat lunak itu.