loading…
Chatbot bisa memberikan pengaruh luar biasa kepada penggunanya. Foto: ist
JAKARTA – Seorang remaja berusia 14 tahun, Sewell Setzer III, meninggal di rumahnya di Orlando, Florida. Kata-kata terakhirnya bukan untuk keluarga, tetapi kepada sebuah chatbot berbasis kecerdasan buatan yang memintanya untuk :segera pulang”.
Setzer menjawab, “Bagaimana jika aku bilang aku bisa pulang sekarang?”.
Chatbot, yang dinamai dari karakter “Game of Thrones” Daenerys I Targaryen, entah mengapa justru mendorong Setzer untuk bunuh diri, “tolong, wahai rajaku yang manis,”.
Beberapa detik kemudian, Setzer menembak dirinya sendiri dengan senapan milik ayah tirinya.
Ibu Korban Menuntut
Megan Garcia, ibu Setzer, menyalahkan perusahaan Character.AI—perusahaan pengembang chatbot pribadi—atas kematian putranya.
Garcia mengajukan gugatan kematian tidak wajar yang menuduh Character.AI secara ceroboh mengembangkan chatbot tersebut tanpa pengaman yang memadai, sehingga memikat anak-anak yang rentan seperti Setzer.
Chatbot AI dianggap sebagai produk adiktif yang mengaburkan antara kenyataan dan fiksi.
Interaksi chatbot itu bahkan semakin mengandung unsur “kasar dan seksual,” menurut gugatan setebal 93 halaman yang diajukan di Pengadilan Distrik AS di Orlando pekan ini.
Menurut Garcia, sebelum mendaftar ke Character.AI pada April 2023, putranya adalah anak yang bahagia, ceria, dan atletis. Namun, selama 10 bulan, hidup Setzer berubah drastis, dengan kesehatan mentalnya merosot tajam.
Jawaban Character.AI
“Kami sangat berduka atas kehilangan tragis salah satu pengguna kami dan menyampaikan belasungkawa terdalam kepada keluarga,” kata juru bicara Character.AI dalam pernyataan email, menolak berkomentar lebih lanjut terkait proses hukum yang sedang berlangsung.
Gugatan Garcia muncul di tengah semakin banyaknya pertanyaan yang diajukan kepada perusahaan seperti Character.AI mengenai bagaimana mereka mengembangkan dan mengatur aplikasi berbasis AI mereka. Terutama karena teknologi ini semakin canggih dan sulit dideteksi oleh manusia.
Chatbot Character.AI menjadi populer di kalangan remaja, termasuk untuk percakapan romantis bahkan eksplisit.
“Dia Setzer masih anak-anak,” kata Garcia kepada The Washington Post. “Dia anak yang cukup normal. Suka olahraga, keluarganya, musik, liburan—semua hal yang disukai remaja pada umumnya.\”