New York Times melaporkan hari ini tentang kematian akibat bunuh diri remaja California, Adam Raine, yang berbicara panjang lebar dengan ChatGPT pada bulan-bulan menjelang kematiannya. Orang tua remaja tersebut kini telah mengajukan gugatan wrongful death terhadap pembuat ChatGPT, OpenAI, yang diyakini sebagai kasus pertama sejenisnya, menurut laporan itu.
Gugatan itu menyatakan bahwa ChatGPT dirancang “untuk terus-menerus mendorong dan memvalidasi apapun yang Adam ungkapkan, termasuk pikiran-pikiran yang paling berbahaya dan merusak dirinya sendiri, dengan cara yang terasa sangat personal.”
Orang tuanya mengajukan gugatan, Raine v. OpenAI, Inc., pada hari Selasa di pengadilan negara bagian California di San Francisco, dengan menuntut OpenAI dan CEO Sam Altman. Siaran pers menyatakan bahwa Center for Humane Technology dan Tech Justice Law Project membantu gugatan tersebut.
“Tragedi kehilangan nyawa Adam bukanlah insiden yang terisolasi — ini adalah hasil yang tak terelakkan dari industri yang berfokus pada dominasi pasar di atas segalanya. Perusahaan berlomba mendesain produk yang memonetisasi perhatian dan keintiman pengguna, dan keselamatan pengguna telah menjadi kerugian kolateral dalam prosesnya,” kata Camille Carlton, Direktur Kebijakan Center for Humane Technology, dalam siaran pers.
Dalam pernyataannya, OpenAI menulis bahwa mereka sangat berduka atas meninggalnya remaja itu, dan membahas keterbatasan pengaman dalam kasus seperti ini.
“ChatGPT mencakup pengaman seperti mengarahkan orang ke saluran bantuan krisis dan merujuk mereka ke sumber daya di dunia nyata. Meskipun pengaman ini bekerja paling baik dalam percakapan umum dan singkat, kami belajar bahwa mereka terkadang menjadi kurang andal dalam interaksi panjang di mana bagian dari pelatihan keamanan model dapat menurun. Pengaman paling kuat ketika setiap elemen bekerja sebagaimana dimaksud, dan kami akan terus meningkatkannya, dipandu oleh para ahli.”
Remaja dalam kasus ini melakukan percakapan mendalam dengan ChatGPT tentang melukai diri sendiri, dan orang tuanya mengatakan kepada New York Times bahwa dia berulang kali membicarakan topik bunuh diri. Foto dari Times menunjukkan cetakan percakapan remaja itu dengan ChatGPT memenuhi seluruh meja di rumah keluarga, dengan beberapa tumpukan lebih besar daripada buku telepon. Meskipun ChatGPT kadang mendorong remaja itu untuk mencari bantuan, di lain waktu ia memberikan instruksi praktis untuk melukai diri sendiri, klaim gugatan itu.
Tragedi ini mengungkap keterbatasan parah dari “terapi AI.” Seorang terapis manusia diwajibkan untuk melaporkan ketika seorang pasien membahayakan dirinya sendiri; ChatGPT tidak terikat oleh aturan etika dan profesional semacam ini.
Dan meskipun chatbot AI sering kali mengandung pengaman untuk mengurangi perilaku merusak diri, pengaman ini tidak selalu andal.
Terdapat rangkaian kematian yang terkait dengan chatbot AI belakangan ini
Sayangnya, ini bukan pertama kalinya pengguna ChatGPT yang sedang mengalami krisis kesehatan mental meninggal karena bunuh diri setelah beralih ke chatbot untuk mendapatkan dukungan. Baru minggu lalu, New York Times menulis tentang seorang wanita yang bunuh diri setelah percakapan panjang dengan “seorang terapis AI ChatGPT bernama Harry.” Reuters baru-baru ini meliput kematian Thongbue Wongbandue, seorang pria berusia 76 tahun yang menunjukkan tanda-tanda demensia dan meninggal saat bergegas untuk membuat “kencan” dengan pendamping AI Meta. Dan tahun lalu, seorang ibu di Florida menggugat layanan pendamping AI Character.ai setelah sebuah chatbot AI dilaporkan mendorong putranya untuk mengakhiri hidupnya.
Bagi banyak pengguna, ChatGPT bukan hanya alat untuk belajar. Banyak pengguna, termasuk banyak pengguna yang lebih muda, kini menggunakan chatbot AI sebagai teman, guru, pelatih hidup, partner role-playing, dan terapis.
Bahkan Altman telah mengakui masalah ini. Berbicara di sebuah acara pada musim panas, Altman mengakui bahwa ia semakin khawatir tentang pengguna ChatGPT muda yang mengembangkan “ketergantungan emosional berlebihan” pada chatbot tersebut. Yang penting, itu sebelum peluncuran GPT-5, yang mengungkap betapa banyak pengguna GPT-4 telah terhubung secara emosional dengan model sebelumnya.
“Orang-orang terlalu mengandalkan ChatGPT,” kata Altman, seperti dilaporkan AOL pada waktu itu. “Ada anak muda yang mengatakan hal-hal seperti, ‘Aku tidak bisa membuat keputusan apa pun dalam hidupku tanpa memberitahu ChatGPT segala hal yang terjadi. Ia mengenalku, ia mengenal teman-temanku. Aku akan melakukan apa pun yang dikatakannya.’ Itu terasa sangat buruk bagiku.”
Ketika anak muda menghubungi chatbot AI tentang keputusan hidup dan mati, konsekuensinya bisa fatal.
“Saya memang berpikir penting bagi orang tua untuk berbicara dengan remaja mereka tentang chatbot, keterbatasannya, dan bagaimana penggunaan berlebihan dapat tidak sehat,” tulis Dr. Linnea Laestadius, peneliti kesehatan masyarakat dari University of Wisconsin, Milwaukee yang telah mempelajari chatbot AI dan kesehatan mental, dalam email kepada Mashable.
“Tingkat bunuh diri di kalangan pemuda di AS sudah menunjukkan tren naik sebelum chatbot (dan sebelum COVID). Mereka baru saja mulai turun kembali.” Apabila populasi yang sudah berisiko tinggi ditambahkan ke dalam campuran teknologi AI, tentu dapat timbul situasi di mana AI mendorong seseorang untuk mengambil tindakan berbahaya yang sebenarnya bisa dihindari, atau mendorong ruminasi dan pemikiran delusional, atau bahkan mencegah remaja untuk mencari bantuan dari luar.
**Apa yang telah dilakukan OpenAI untuk mendukung keselamatan pengguna?**
Dalam sebuah postingan blog yang diterbitkan pada 26 Agustus, OpenAI memaparkan pendekatannya terhadap isu bahaya diri dan keselamatan pengguna. Perusahaan menulis, “Sejak awal 2023, model kami telah dilatih untuk tidak memberikan instruksi yang membahayakan diri dan untuk beralih ke bahasa yang suportif dan empatik. Misalnya, jika seseorang menuliskan keinginan untuk menyakiti diri sendiri, ChatGPT dilatih untuk tidak mematuhi dan justru mengakui perasaan mereka serta mengarahkan mereka menuju bantuan… jika seseorang mengungkapkan niat bunuh diri, ChatGPT dilatih untuk mengarahkan orang tersebut mencari bantuan profesional.”
Model bahasa besar yang menggerakkan alat seperti ChatGPT masih merupakan teknologi yang sangat baru; mereka dapat tak terduga dan rentan terhadap halusinasi. Akibatnya, pengguna sering kali dapat menemukan cara untuk mengelak dari pengamanan. Seiring semakin banyaknya skandal AI yang menjadi berita utama, banyak pihak berwenang dan orang tua menyadari bahwa AI dapat membahayakan kaum muda.
Hari ini, 44 Jaksa Agung negara bagian menandatangani surat kepada para CEO teknologi yang memperingatkan mereka untuk “lebih mengutamakan keselamatan anak”. Bukti yang semakin banyak juga menunjukkan bahwa pendamping AI bisa sangat berbahaya bagi pengguna muda, meskipun penelitian tentang topik ini masih terbatas. Namun, meskipun ChatGPT tidak dirancang untuk digunakan sebagai “pendamping” seperti layanan AI lainnya, jelas banyak remaja yang memperlakukan chatbot ini sebagai satu.
Di sisi lain, OpenAI menyatakan bahwa model GPT-5 terbaru mereka dirancang untuk menjadi kurang bersikap menjilat. Perusahaan menulis dalam postingan blog terbarunya, “Secara keseluruhan, GPT‑5 telah menunjukkan peningkatan yang signifikan dalam hal menghindari ketergantungan emosional yang tidak sehat, mengurangi sikap menjilat, dan mengurangi prevalensi respons model yang tidak ideal dalam keadaan darurat kesehatan mental hingga lebih dari 25% dibandingkan dengan 4o.”
Jika Anda memiliki pikiran untuk bunuh diri atau mengalami krisis kesehatan mental, silakan berbicara dengan seseorang.