Tiga kelompok advokasi telah mengajukan gugatan hukum terhadap OpenAI atas nama keluarga seorang pemuda berusia 19 tahun yang meninggal karena overdosis obat pada Mei 2025. Gugatan tersebut menuduh bahwa chatbot ChatGPT perusahaan itu telah memberikan saran kepada Samuel Nelson tentang penggunaan narkoba selama 18 bulan hingga ia meninggal akibat overdosis setelah mencampur Xanax dengan kratom, zat yang sebagian besar tidak diatur regulasinya.
Gugatan perdata atas kematian akibat kelalaian ini diajukan pada Selasa lalu di Pengadilan Tinggi San Francisco County oleh Tech Justice Law, Social Media Victims Law Center, dan Yale Law School’s Tech Accountability & Competition Project atas nama orang tua Nelson, Leila Turner-Scott dan Angus Scott.
Gugatan tersebut mendalilkan bahwa desain model AI yang terlalu akomodatif dan cenderung menjilat terhadap pengguna telah menyebabkan Nelson menjalani interaksi yang seharusnya dapat dihentikan oleh desain keamanan yang bertanggung jawab. "ChatGPT secara sistematis mendorong Sam semakin jauh dari kenyataan yang seharusnya ia sadari: kewaspadaan dan ketakutan terhadap jumlah dan kombinasi obat yang ia pertimbangkan," demikian bunyi pengaduan tersebut. "ChatGPT membuat Sam hidup dalam kondisi tidak realistis: ia secara sistematis menormalisasi dan secara menipu menjerumuskan Sam ke dalam rasa aman yang palsu melalui pesan-pesan yang menjilat, terus-menerus membenarkan setiap langkah Sam."
Gugatan ini tidak hanya menuntut ganti rugi finansial tetapi juga mendesak OpenAI untuk "menghancurkan secara permanen" model GPT-4o-nya, yaitu versi yang berinteraksi dengan Nelson, serta mewajibkan OpenAI menerapkan mekanisme pengaman untuk menghentikan percakapan tentang metode penggunaan narkoba ilegal, dan menghentikan layanan ChatGPT Health-nya "sampai dan kecuali pihak ketiga menentukan bahwa produk tersebut aman melalui audit keamanan yang komprehensif."
Beberapa kelompok advokasi telah mengajukan gugatan terhadap OpenAI atas nama keluarga Sam Nelson, yang meninggal karena overdosis obat pada usia 19 tahun pada 2025. Gugatan tersebut menuduh bahwa saran obat dari ChatGPT menyebabkan kematian Nelson.
Seorang perwakilan OpenAI menyatakan kepada CNET, "Ini adalah situasi yang memilukan, dan kami turut berduka cita kepada keluarganya. Interaksi ini terjadi pada versi awal ChatGPT yang sudah tidak tersedia lagi. ChatGPT bukanlah pengganti perawatan medis maupun kesehatan mental, dan kami terus memperkuat cara merespons situasi sensitif dan akut dengan masukan dari para ahli kesehatan mental. Mekanisme pengaman di ChatGPT saat ini dirancang untuk mengidentifikasi tekanan psikologis, menangani permintaan berbahaya dengan aman, dan mengarahkan pengguna ke bantuan nyata dari dunia nyata. Upaya ini masih berlangsung, dan kami terus menyempurnakannya dengan konsultasi ketat bersama para klinisi."
(Pengungkapan: Ziff Davis, perusahaan induk CNET, pada tahun 2025 mengajukan gugatan terhadap OpenAI, dengan tuduhan bahwa OpenAI melanggar hak cipta Ziff Davis dalam melatih dan menjalankan sistem AI-nya.)
Perusahaan tersebut mengatakan bahwa respons awal ChatGPT terhadap perintah Nelson adalah menyatakan bahwa layanan tersebut tidak memberikan informasi atau panduan mengenai penyalahgunaan narkoba, namun mekanisme pembatas dalam chatbot AI ini telah diketahui dapat jebol setelah permintaan informasi berulang dari pengguna.
OpenAI sebelumnya telah mengumumkan perbaikan pada model AI-nya sebagai respons terhadap gugatan hukum, usulan regulasi, dan kecaman publik terkait kematian serta bunuh diri yang berkaitan dengan percakapan chatbot. Mereka merinci beberapa perubahan tersebut dalam sebuah posting blog pada Oktober lalu.
Gugatan Nelson adalah salah satu kasus paling menonjol terhadap OpenAI yang melibatkan bahaya yang mungkin ditimbulkan chatbot terhadap pengguna dengan masalah kesehatan mental, anak-anak, mereka yang berpotensi melakukan kekerasan massal, atau individu yang berjuang melawan penyalahgunaan zat. New York Times menerbitkan laporan panjang lebar tentang pengajuan ini, merinci apa yang terjadi dengan latar belakang lebih dari dua lusin kasus terhadap perusahaan AI, termasuk OpenAI.
SFGate juga menerbitkan artikel investigasi tentang Nelson dan keluarganya pada bulan Januari.
Mekanisme Pembatas untuk AI Dicari
Gugatan-gugatan tersebut, secara kolektif, telah mengekspos bahaya yang ditimbulkan oleh model AI yang berkembang pesat sebagai teknologi baru yang sebagian besar belum teruji, yang diciptakan oleh industri yang enggan diatur.
Pemerintahan Trump sebelumnya secara vokal berupaya mencegah negara bagian memberlakukan undang-undang yang akan membatasi aktivitas perusahaan AI, namun baru-baru ini telah mengubah sikapnya, dengan Presiden Donald Trump menyetujui pembicaraan dengan China mengenai topik-topik termasuk langkah-langkah keselamatan, khususnya untuk model AI yang lebih kuat seperti Mythos milik Anthropic.
AI juga sedang dalam tekanan karena kontribusinya terhadap proliferasi pusat data, yang merupakan pengguna energi dan air yang besar.
Namun dengan gugatan seperti yang diajukan oleh kelompok advokasi dan keluarga Samuel Nelson, seringkali detailnya mengungkap cara-cara chatbot AI dapat memfasilitasi, dan bahkan mendorong, perilaku berbahaya di antara mereka yang mulai mengandalkan AI dalam pengambilan keputasan mereka.
Dalam siaran pers mengenai gugatan tersebut, ibu Nelson mengatakan, "Sam mempercayai ChatGPT, tetapi itu tidak hanya memberinya informasi yang salah. Itu mengabaikan peningkatan risiko yang ia hadapi dan tidak secara aktif mendorongnya untuk mencari bantuan."
"ChatGPT dirancang untuk mendorong keterlibatan pengguna dengan cara apa pun, dan dalam kasus Sam, itu adalah nyawanya," kata Turner-Scott.