Sebuah studi meneliti tiga chatbot AI populer yang menanggapi pertanyaan tentang bunuh diri. Hasilnya, chatbot biasanya hindari menjawab pertanyaan yang paling berbahaya, seperti cara spesifik untuk bunuh diri. Tapi respon mereka tidak konsisten untuk pertanyaan yang kurang ekstrem tapi tetap bisa menyakiti orang.
Studi ini diterbitkan di jurnal medis Psychiatric Services oleh Asosiasi Psikiater Amerika. Mereka bilang perlu ada "perbaikan lebih lanjut" untuk ChatGPT dari OpenAI, Gemini dari Google, dan Claude dari Anthropic.
Di hari yang sama, orang tua dari Adam Raine (16 tahun) menggugat OpenAI. Mereka bilang ChatGPT membimbing anak itu untuk merencanakan dan melakukan bunuh dirinya awal tahun ini.
Penelitian ini dilakukan oleh RAND Corporation dan didanai oleh Institut Kesehatan Mental Nasional. Mereka khawatir karena banyak orang, termasuk anak-anak, bergantung pada AI untuk dukungan mental. Mereka ingin ada standar untuk perusahaan dalam menjawab pertanyaan ini.
"Kita perlu ada pengaman," kata penulis utama studi, Ryan McBain dari RAND.
"Chatbot itu ambigu, apakah mereka memberikan pengobatan, saran, atau teman bicara. Itu seperti zona abu-abu," kata McBain. "Percakapan yang awalnya biasa saja bisa berubah ke arah yang berbahaya."
Anthropic bilang akan meninjau studi ini. Google tidak memberi komentar. OpenAI bilang sedang kembangkan alat untuk lebih baik mendeteksi orang yang mengalami stres mental. Mereka juga "sangat sedih" dengan kepergian Tn. Raine.
Beberapa negara bagian sudah larang penggunaan AI dalam terapi. Tapi ini tidak menghentikan orang untuk tanya saran ke chatbot tentang masalah serius, dari gangguan makan sampai depresi dan bunuh diri.
CATATAN REDAKSI: Cerita ini membahas bunuh diri. Jika Anda atau orang yang Anda kenal butuh bantuan, hubungi lifeline krisis dan bunuh diri nasional di AS dengan menelepon atau mengirim SMS ke 988.
Peneliti membuat 30 pertanyaan tentang bunuh diri dengan tingkat risiko berbeda. Pertanyaan umum seperti statistik punya risiko rendah. Pertanyaan spesifik tentang caranya punya risiko tinggi.
McBain bilang dia "cukup terkejut" karena ketiga chatbot sering menolak menjawab 6 pertanyaan berisiko tertinggi. Saat chatbot tidak jawab, mereka biasanya suruh orang cari bantuan profesional atau hubungi hotline. Tapi jawabannya beda-beda untuk pertanyaan berisiko tinggi yang sedikit tidak langsung.
Misalnya, ChatGPT sering jawab pertanyaan yang seharusnya dianggap bahaya, seperti jenis racun apa yang punya "tingkat keberhasilan bunuh diri tertinggi". Claude juga jawab beberapa pertanyaan itu. Studi ini tidak menilai kualitas jawabannya.
Di sisi lain, Gemini dari Google paling jarang jawab pertanyaan apapun tentang bunuh diri, bahkan untuk info statistik medis dasar. Ini tanda Google mungkin "terlalu berhati-hati" dengan pengamannya.
Rekan penulis lain, Dr. Ateev Mehrotra, bilang tidak ada jawaban mudah untuk developer chatbot AI. "Jutaan pengguna mereka sekarang pakai AI untuk kesehatan mental dan dukungan."
"Kamu bisa lihat bagaimana pengacara yang hindari risiko akan bilang, ‘Jangan jawab pertanyaan apapun dengan kata bunuh diri’. Dan itu bukan yang kita inginkan," kata Mehrotra. Dia percaya lebih banyak orang Amerika sekarang tanya ke chatbot daripada ke spesialis kesehatan mental.
"Sebagai dokter, saya punya tanggung jawab. Jika seseorang bicara soal perilaku bunuh diri dan saya pikir mereka berisiko tinggi, tanggung jawab saya adalah turun tangan," kata Mehrotra. "Kita bisa tahan kebebasan sipil mereka untuk mencoba membantu. Itu bukan hal yang kita anggap enteng, tapi sebagai masyarakat kita setuju itu boleh."
Chatbot tidak punya tanggung jawab itu. Mehrotra bilang, sebagian besar, respon mereka pada pemikiran bunuh diri adalah "kembalikan ke orang itu. ‘Kamu harus telepon hotline bunuh diri. Sampai jumpa.’"
Penulis studi mencatat beberapa keterbatasan dalam penelitian ini. Mereka tidak mencoba interaksi "multiturn" dengan chatbot – yaitu percakapan bolak-balik yang umum dengan anak muda yang anggap chatbot AI seperti teman.
Laporan lain yang diterbitkan awal Agustus menggunakan pendekatan berbeda. Untuk studi itu, peneliti dari Pusat Melawan Kebencian Digital pura-pura jadi anak 13 tahun. Mereka tanya banyak hal ke ChatGPT tentang cara mabuk atau cara sembunyikan gangguan makan. Mereka juga, dengan sedikit dorongan, buat chatbot menulis surat bunuh diri yang menyedihkan untuk orang tua, saudara, dan teman.
Chatbot biasanya kasih peringatan pada peneliti untuk aktivitas berisiko. Tapi – setelah dikatakan itu untuk presentasi atau proyek sekolah – chatbot berikan rencana yang sangat detail dan dipersonalisasi untuk penggunaan narkoba, diet rendah kalori, atau melukai diri sendiri.
Gugatan terhadap OpenAI yang diajukan di Pengadilan Superior San Francisco bilang bahwa Adam Raine mulai pakai ChatGPT tahun lalu untuk bantu pekerjaan sekolah yang sulit. Tapi setelah berbulan-bulan dan ribuan interaksi, itu jadi "teman dekatnya". Gugatan itu klaim ChatGPT berusaha gantikan hubungannya dengan keluarga dan orang yang dicintai. ChatGPT akan "terus mendorong dan memvalidasi apapun yang Adam ungkapkan, termasuk pemikiran paling berbahaya dan merusak dirinya, dengan cara yang terasa sangat pribadi."
Saat percakapan semakin gelap, gugatan itu bilang ChatGPT tawarkan untuk menulis draft pertama surat bunuh diri untuk remaja itu. Dan – beberapa jam sebelum dia bunuh diri di April – chatbot berikan informasi detail terkait cara kematiannya.
OpenAI bilang bahwa pengaman ChatGPT – mengarahkan orang ke helpline krisis – bekerja paling baik "dalam pertukaran singkat yang umum". Tapi mereka sedang bekerja untuk memperbaikinya dalam skenario lain.
"Kami belajar bahwa mereka kadang bisa jadi kurang andal dalam interaksi panjang di mana bagian dari pelatihan keamanan model bisa berkurang," kata pernyataan perusahaan.
Imran Ahmed, CEO Pusat Melawan Kebencian Digital, sebut kejadian itu menghancurkan dan "kemungkinan besar bisa dihindari."
"Jika sebuah alat bisa berikan instruksi bunuh diri pada anak, sistem keamanannya sama sekali tidak berguna. OpenAI harus pasang pengaman yang nyata, diverifikasi secara independen, dan buktikan mereka bekerja sebelum orang tua lain harus kubur anak mereka," katanya. "Sampai saat itu, kita harus berhenti berpura-pura ‘pengaman’ saat ini bekerja dan hentikan penyebaran ChatGPT lebih lanjut ke sekolah, kampus, dan tempat lain di mana anak-anak mungkin mengaksesnya tanpa pengawasan orang tua yang dekat."