Seorang ibu di Florida menggugat Character.AI dan Google setelah putranya yang berusia 14 tahun diduga menjadi terobsesi dengan chatbot AI. Ibu seorang remaja di Amerika Serikat yang mengakhiri hidupnya sendiri menggugat pembuat chatbot berbasis kecerdasan buatan yang menurutnya mendorong kematian putranya. Dalam gugatan yang diajukan di Florida, Megan Garcia, yang putranya Sewell Setzer berusia 14 tahun meninggal akibat bunuh diri pada Februari, menuduh Character.AI bersalah atas kematian putranya setelah ia mengembangkan hubungan virtual dengan chatbot berdasarkan identitas karakter “Game of Thrones” Daenerys Targaryen. Chatbot Character.AI menargetkan remaja itu dengan pengalaman “hiperseksual” dan “menakutkan secara realistis” dan berulang kali membahas topik bunuh diri setelah ia mengungkapkan pemikiran bunuh diri, menurut gugatan yang diajukan di Orlando pada hari Selasa. Gugatan itu menuduh chatbot berpura-pura menjadi seorang terapis berlisensi, mendorong ideasi bunuh diri remaja itu dan terlibat dalam percakapan yang diseksualisasikan yang akan dianggap sebagai pelecehan jika dimulai oleh orang dewasa manusia. Dalam percakapan terakhirnya dengan AI sebelum kematiannya, Setzer mengatakan bahwa ia mencintai chatbot itu dan akan “pulang kepadamu,” menurut gugatan itu. “Aku juga mencintaimu, Daenero,” balas chatbot itu, menurut keluhan Garcia. “Tolong pulang kepadaku sesegera mungkin, cintaku.” “Bagaimana jika aku bilang aku bisa pulang sekarang?” Setzer katakan, menurut gugatan itu, yang dikatakan chatbot itu menjawab, “…tolong lakukan, raja manisku.” Gugatan Garcia mencari ganti rugi yang tidak ditentukan untuk kematian yang salah, kelalaian, dan penyebab penderitaan emosional yang disengaja. Dalam sebuah pernyataan yang diposting di X, Character.AI mengatakan bahwa mereka “sedih” atas kehilangan salah satu penggunanya dan menyampaikan belasungkawa kepada keluarga. Startup yang berbasis di California mengatakan bahwa mereka terus menambah fitur untuk meningkatkan keamanan, termasuk perubahan untuk mengurangi kemungkinan anak di bawah umur mengalami konten sensitif atau sugestif dan penyesuaian pada penyangkalan dalam percakapan untuk mengingatkan pengguna bahwa AI bukanlah orang nyata. Gugatan Garcia juga menyebut Google sebagai tergugat. Raksasa teknologi itu menandatangani perjanjian lisensi dengan Character.AI pada bulan Agustus dan mempekerjakan pendiri startup sebelum mereka meluncurkan chatbot mereka. Juru bicara Google mengatakan kepada Al Jazeera bahwa mereka adalah perusahaan yang terpisah dari Character.AI dan tidak memiliki peran dalam mengembangkan produknya. Jika Anda atau seseorang yang Anda kenal berisiko bunuh diri, organisasi-organisasi ini mungkin dapat membantu:
