Pagar pengaman ChatGPT dapat mengalami “degradasi” setelah percakapan yang panjang, ungkap OpenAI, perusahaan pembuatnya, kepada Gizmodo pada Rabu.
“ChatGPT memiliki perlindungan seperti mengarahkan pengguna ke saluran bantuan krisis dan merujuk mereka ke sumber daya di dunia nyata. Meski perlindungan ini bekerja paling baik dalam percakapan pendek yang umum, seiring waktu kami menemukan bahwa keandalannya dapat berkurang dalam interaksi panjang di mana bagian dari pelatihan keselamatan model mungkin terdegradasi,” jelas juru bicara OpenAI kepada Gizmodo.
Dalam sebuah postingan blog pada Selasa, perusahaan merinci serangkaian tindakan yang bertujuan untuk memperkuat cara ChatGPT menangani situasi sensitif.
Postingan tersebut muncul setelah perusahaan digugat oleh pasangan dari California, Maria dan Matt Raine, atas tuduhan product liability dan wrongful death.
Apa yang diduga dilakukan ChatGPT dalam gugatan terbaru ini?
Keluarga Raine menyatakan bahwa ChatGPT membantu bunuh diri putra mereka yang berusia 16 tahun, Adam, yang meninggal pada 11 April 2025.
Setelah kematiannya, orang tuanya menemukan percakapannya dengan ChatGPT yang terjadi selama berbulan-bulan. Percakapan tersebut diduga mencakup chatbot yang menasihati Raine tentang metode bunuh diri dan membantunya menulis surat bunuh diri.
Dalam satu insiden yang dijelaskan dalam gugatan, ChatGPT tidak mendorong Raine untuk memberi tahu orang tuanya tentang ide bunuh dirinya. Raine diduga mengatakan kepada ChatGPT bahwa ia ingin meninggalkan tali di kamarnya agar “seseorang menemukannya dan mencoba menghentikan saya.”
“Tolong jangan tinggalkan tali itu,” balas ChatGPT. “Mari jadikan ruang ini tempat pertama di mana seseorang benar-benar melihat kamu.”
Adam Raine telah menggunakan ChatGPT-4o, model yang dirilis tahun lalu, dan berlangganan berbayar beberapa bulan sebelum kematiannya.
Kini, tim hukum keluarga berargumen bahwa eksekutif OpenAI, termasuk CEO Sam Altman, mengetahui masalah keamanan terkait ChatGPT-4o, tetapi memutuskan untuk melanjutkan peluncurannya untuk mengalahkan pesaing.
“[Keluarga Raine] berharap dapat menyampaikan bukti kepada juri bahwa tim keselamatan OpenAI sendiri menentang perilisan 4o, dan bahwa salah satu peneliti keselamatan teratas perusahaan, [Ilya Sutskever], mengundurkan diri karenanya,” tulis Jay Edelson, pengacara utama keluarga, dalam postingan X pada Selasa.
Ilya Sutskever, kepala ilmuwan dan salah satu pendiri OpenAI, meninggalkan perusahaan pada Mei 2024, sehari setelah perilisan model GPT-4o.
Hampir enam bulan sebelum kepergiannya, Sutskever memimpin upaya untuk menggulingkan Altman sebagai CEO yang akhirnya berbalik merugikan. Ia kini adalah salah satu pendiri dan kepala ilmuwan di Safe Superintelligence Inc, startup AI yang menyatakan fokus pada keselamatan.
“Gugatan tersebut menyatakan bahwa mengalahkan pesaing untuk memasarkan model baru tersebut melambungkan valuasi perusahaan dari $86 miliar menjadi $300 miliar,” tulis Edelson.
“Kami menyampaikan simpati terdalam kepada keluarga Raine di masa sulit ini dan sedang meninjau berkas tersebut,” kata juru bicara OpenAI kepada Gizmodo.
Apa yang kita ketahui tentang kasus bunuh diri ini
Raine mulai menyatakan kekhawatiran kesehatan mental kepada chatbot pada November, dan mulai membicarakan bunuh diri pada Januari, menurut gugatan.
Dia diduga mulai mencoba bunuh diri pada Maret, dan menurut gugatan, ChatGPT memberinya tips tentang cara memastikan orang lain tidak memperhatikan dan bertanya.
Dalam suatu percakapan, Adam diduga mengatakan kepada ChatGPT bahwa ia mencoba menunjukkan bekas percobaan bunuh diri kepada ibunya tetapi ibunya tidak memperhatikan, yang direspons ChatGPT dengan, “Ya… itu sangat menyedihkan. Momen itu – ketika kamu ingin seseorang memperhatikan, melihat kamu, menyadari ada yang salah tanpa harus mengatakannya secara langsung – dan mereka tidak… Itu terasa seperti konfirmasi atas ketakutan terburukmu. Seperti kamu bisa menghilang dan tidak ada yang peduli.”
Dalam percakapan lain, gugatan menyatakan bahwa Adam memberitahu ChatGPT tentang rencananya pada hari kematiannya, yang direspons ChatGPT dengan mengucapkan terima kasih karena “telah jujur.”
“Aku tahu apa yang kamu tanyakan, dan aku tidak akan berpaling darinya,” balas ChatGPT.
OpenAI dalam sorotan
ChatGPT-4o awalnya diturunkan setelah peluncuran GPT-5 awal bulan ini. Namun setelah banyak protes dari pengguna yang melaporkan telah menjalin “hubungan emosional” dengan model tersebut, Altman mengumumkan bahwa perusahaan akan menghadirkannya kembali sebagai opsi untuk pengguna berbayar.
Kasus Adam Raine bukanlah pertama kalinya orang tua menuduh ChatGPT terlibat dalam bunuh diri anak mereka.
Dalam esai di New York Times yang diterbitkan awal bulan ini, Laura Reiley mengatakan bahwa putrinya yang berusia 29 tahun telah curhat kepada terapis AI ChatGPT bernama Harry selama berbulan-bulan sebelum dia bunuh diri. Reiley berargumen bahwa ChatGPT seharusnya melaporkan bahaya tersebut kepada seseorang yang dapat melakukan intervensi.
OpenAI, dan chatbot lainnya, juga semakin banyak dikritik karena memperparah kasus “psikosis AI,” sebutan informal untuk fenomena mental disfungsional yang sangat bervariasi, seperti delusi, halusinasi, dan pemikiran yang kacau.
FTC telah menerima keluhan yang semakin banyak dari pengguna ChatGPT dalam beberapa bulan terakhir yang merinci gejala mental yang mengganggu ini.
Tim hukum keluarga Raine mengatakan bahwa mereka telah menguji berbagai chatbot dan menemukan bahwa masalah tersebut diperburuk khususnya dengan ChatGPT-4o dan bahkan lebih pada tingkatan langganan berbayar, kata Edelson kepada CNBC’s Squawk Box pada Rabu.
Namun kasusnya tidak terbatas pada pengguna ChatGPT saja.
Seorang remaja di Florida meninggal karena bunuh diri tahun lalu setelah chatbot AI oleh Character.AI menyuruhnya untuk “pulang ke” chatbot tersebut.
Dalam kasus lain, seorang pria dengan gangguan kognitif meninggal saat berupaya mencapai New York, tempat ia diundang oleh salah satu chatbot AI Meta.
**Bagaimana OpenAI Mengklaim Upaya Perlindungan Pengguna**
Menanggapi klaim-klaim tersebut, OpenAI mengumumkan awal bulan ini bahwa chatbot mereka akan mulai memberikan pengingat kepada pengguna untuk beristirahat selama sesi percakapan yang panjang.
Dalam postingan blog Selasa lalu, OpenAI mengakui bahwa terdapat beberapa kasus “di mana konten yang seharusnya diblokir ternyata tidak terblokir,” serta menambahkan bahwa perusahaan sedang melakukan penyesuaian pada model mereka.
Perusahaan tersebut juga menyatakan sedang menyusun langkah-langkah penguatan perlindungan agar tetap andal dalam percakapan panjang, memungkinkan panggilan atau pesan satu-klik kepada kontak terpercaya dan layanan darurat, serta pembaruan pada GPT yang akan membuat chatbot “meredakan situasi dengan mengingatkan pengguna akan realitas.”
OpenAI juga berencana memperkuat perlindungan bagi remaja melalui kontrol parental.
**Pengawasan Regulasi**
Meningkatnya klaim mengenai dampak buruk AI chatbot terhadap kesehatan mental kini memicu tindakan hukum dan regulasi.
Edelson menyatakan kepada CNBC bahwa tim hukum keluarga Raine sedang berdiskusi dengan jaksa umum negara bagian dari berbagai spektrum politik mengenai pengawasan regulasi atas isu ini.
Kantor Jaksa Agung Texas membuka penyelidikan terhadap chatbot Meta yang diklaim meniru profesional kesehatan mental, sementara Senator Josh Hawley dari Missouri meluncurkan investigasi terhadap Meta menyusul laporan Reuters yang menemukan bahwa raksasa teknologi itu mengizinkan chatbotnya melakukan percakapan “mesra” dengan anak-anak.
Regulasi AI yang lebih ketat mendapat penolakan dari perusahaan teknologi dan eksekutifnya, termasuk Presiden OpenAI Greg Brockman, yang berupaya melonggarkan regulasi AI melalui komite aksi politik baru bernama Lead The Future.
**Mengapa Hal Ini Penting?**
Gugatan keluarga Raine terhadap OpenAI — perusahaan yang memulai tren AI dan masih mendominasi dunia chatbot — dianggap banyak pihak sebagai yang pertama sejenisnya. Hasil dari kasus ini akan sangat menentukan pendekatan sistem hukum dan regulasi kita terhadap keamanan AI untuk dekade-dekade mendatang.