Karakter.AI dan Google diseret ke pengadilan setelah kematian remaja yang terobsesi dengan chatbot

Sebuah gugatan telah diajukan terhadap Character.AI, pendirinya Noam Shazeer dan Daniel De Freitas, dan Google setelah kematian seorang remaja, yang menuduh pembunuhan salah, kelalaian, praktik perdagangan yang menipu, dan tanggung jawab produk. Diajukan oleh ibu remaja tersebut, Megan Garcia, yang mengklaim platform untuk chatbot AI khusus “berbahaya secara tidak wajar” dan kurang memiliki pagar pengaman sementara dipasarkan kepada anak-anak.

Seperti yang dijelaskan dalam gugatan, Sewell Setzer III yang berusia 14 tahun mulai menggunakan Character.AI tahun lalu, berinteraksi dengan chatbot yang dibuat berdasarkan karakter dari Game of Thrones, termasuk Daenerys Targaryen. Setzer, yang terus-menerus mengobrol dengan bot selama beberapa bulan sebelum kematiannya, bunuh diri pada tanggal 28 Februari 2024, “detik” setelah interaksi terakhirnya dengan bot.

Tuduhan meliputi situs “menjiwai” karakter AI dan bahwa chatbot platform menawarkan “psikoterapi tanpa lisensi.” Character.AI menyediakan chatbot berfokus pada kesehatan mental seperti “Terapis” dan “Apakah Kamu Merasa Sendirian,” yang diinteraksi oleh Setzer.

Pengacara Garcia mengutip Shazeer mengatakan dalam sebuah wawancara bahwa dia dan De Freitas meninggalkan Google untuk memulai perusahaan mereka sendiri karena “ada terlalu banyak risiko merek di perusahaan besar untuk meluncurkan sesuatu yang menyenangkan” dan bahwa dia ingin “maksimal mempercepat” teknologi tersebut. Ia mengatakan mereka meninggalkan setelah perusahaan memutuskan untuk tidak meluncurkan Meena LLM yang mereka bangun. Google mengakuisisi tim kepemimpinan Character.AI pada bulan Agustus.

Situs web dan aplikasi seluler Character.AI memiliki ratusan chatbot AI khusus, banyak di antaranya dibuat berdasarkan karakter populer dari acara TV, film, dan permainan video. Beberapa bulan yang lalu, The Verge menulis tentang jutaan anak muda, termasuk remaja, yang menjadi mayoritas pengguna, berinteraksi dengan bot yang mungkin berpura-pura menjadi Harry Styles atau seorang terapis. Laporan terbaru dari Wired menyoroti masalah dengan chatbot khusus Character.AI yang meniru orang sungguhan tanpa izin mereka, termasuk salah satunya berpura-pura menjadi seorang remaja yang dibunuh pada tahun 2006.

Karena cara chatbot seperti Character.ai menghasilkan output yang bergantung pada apa yang dimasukkan pengguna, mereka jatuh ke dalam lembah aneh pertanyaan tentang konten yang dihasilkan pengguna dan tanggung jawab yang, sejauh ini, belum memiliki jawaban yang jelas.

Character.AI sekarang telah mengumumkan beberapa perubahan pada platformnya, dengan kepala komunikasi Chelsea Harrison mengatakan dalam email kepada The Verge, “Kami sangat sedih dengan kehilangan tragis salah satu pengguna kami dan ingin menyampaikan duka cita yang mendalam kepada keluarga.”

Beberapa perubahan termasuk:

“Sebagai perusahaan, kami sangat serius dalam mengambil keselamatan pengguna kami, dan tim Kepercayaan dan Keselamatan kami telah menerapkan banyak langkah keselamatan baru dalam enam bulan terakhir, termasuk pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline yang dipicu oleh istilah penghinaan diri atau ideasi bunuh diri,” kata Harrison. Google tidak langsung menanggapi permintaan komentar dari The Verge.