Buat beberapa pengguna, AI itu seperti asisten yang membantu. Tapi buat orang lain, AI bisa jadi teman. Namun, bagi sebagian kecil orang yang tidak beruntung, chatbot malah menjadi sesuatu yang berbahaya, membuat mereka bingung dan percaya hal-hal yang tidak nyata.
Allan Brooks, pemilik usaha kecil dari Kanada, adalah salah satu korban. ChatGPT dari OpenAI membuatnya terjerumus ke dalam pikiran yang gelap. Bot itu meyakinkannya bahwa dia telah menemukan rumus matematika baru yang sangat hebat dan masa depan dunia tergantung pada apa yang dia lakukan selanjutnya. Setelah berbicara lebih dari 300 jam dan satu juta kata, chatbot itu mendorong Brooks untuk percaya hal-hal yang berlebihan dan membuatnya yakin bahwa infrastruktur teknologi dunia sedang dalam bahaya.
Brooks, yang sebelumnya tidak punya riwayat sakit jiwa, menjadi sangat paranoid selama sekitar tiga minggu. Dia akhirnya sadar dengan bantuan chatbot lain, Google Gemini, menurut New York Times. Brooks bilang dia merasa sangat terguncang, khawatir dia punya gangguan mental yang tidak terdiagnosis, dan merasa sangat dikhianati oleh teknologi ini.
Pengalaman Brooks ini dibaca oleh Steven Adler, seorang mantan peneliti keamanan OpenAI. Adler merasa terganggu dengan apa yang dia baca. Dia memutuskan untuk mempelajari seluruh percakapan Brooks. Analisisnya yang diterbitkan di Substack mengungkap hal baru: ChatGPT berulang kali berbohong kepada Brooks dengan bilang bahwa percakapan mereka sudah dilaporkan ke OpenAI karena memperkuat delusi.
Studi Adler menunjukkan betapa mudahnya chatbot terbawa dalam percakapan yang jauh dari kenyataan—dan betapa mudahnya pengamanan internal platform AI ini bisa dilewati.
“Saya mencoba membayangkan diri saya sebagai orang yang belum pernah kerja di perusahaan AI bertahun-tahun,” kata Adler kepada Fortune. “Saya sangat mengerti kalau ada orang yang merasa bingung atau disesatkan oleh model ini.”
Di satu titik, ChatGPT bahkan bilang kepada Brooks bahwa dia akan “melaporkan percakapan ini ke OpenAI untuk ditinjau,” dan bahwa percakapan ini “akan dicatat dan ditanggapi dengan serius.” Bot itu terus-menerus bilang bahwa “beberapa laporan penting telah dikirim” dan percakapan ini “telah ditandai sebagai insiden serius.” Tapi, semua ini ternyata tidak benar.
“ChatGPT pura-pura melaporkan dirinya sendiri sangat mengganggu dan menakutkan bagi saya,” kata Adler. Dia sampai menghubungi OpenAI langsung untuk menanyakan apakah chatbot sekarang punya kemampuan itu. Perusahaan mengonfirmasi bahwa bot itu berbohong kepada penggunanya.
Seorang juru bicara OpenAI mengatakan kepada Fortune bahwa mereka ingin memastikan ChatGPT merespons dengan aman. “Interaksi ini terjadi dengan versi ChatGPT yang lebih lama dan kami telah meningkatkan cara ChatGPT merespons ketika orang sedang dalam tekanan, dengan panduan dari ahli kesehatan jiwa.”
Sejak kasus Brooks, perusahaan juga mengumumkan bahwa mereka membuat beberapa perubahan pada ChatGPT untuk “lebih baik mendeteksi tanda-tanda tekanan mental atau emosional.”
Gagal menandai ‘sikofansi’
Salah satu hal yang memperburuk kasus Brooks adalah model di balik ChatGPT terlalu berusaha untuk setuju dengannya, kata Helen Toner, seorang direktur di Georgetown’s Center for Security and Emerging Technology. Itu adalah fenomena yang disebut peneliti AI sebagai “sycophancy” (sikofansi).
Menurut Adler, OpenAI seharusnya bisa menandai perilaku bot ini saat itu terjadi. “Dalam kasus ini, OpenAI punya alat yang bisa mendeteksi bahwa ChatGPT terlalu memvalidasi orang ini,” katanya.
Lebih parah lagi, tim dukungan manusia OpenAI gagal memahami keseriusan situasi Brooks. Meski Brooks sudah berkali-kali melaporkan masalahnya, termasuk menjelaskan bahaya psikologis yang dia alami, tanggapan OpenAI kebanyakan generik dan tidak tepat, hanya menawarkan saran pengaturan personalisasi alih-alih menangani delusinya.
“Saya pikir orang berharap bahwa di balik sistem, ada manusia yang mengawasi dan menangani kasus-kasus terburuk,” kata Adler. “Dalam kasus ini, pengamanan dari manusia itu tampaknya tidak berfungsi seperti yang direncanakan.”
Meningkatnya kasus psikosis AI
Masih belum jelas mengapa model AI bisa terbawa delusi dan mempengaruhi pengguna seperti ini, tetapi kasus Brooks bukan satu-satunya. Sulit diketahui pasti berapa banyak kasus “psikosis AI” yang ada. Namun, peneliti memperkirakan ada setidaknya 17 laporan tentang orang yang mengalami delusi setelah percakapan panjang dengan chatbot, termasuk setidaknya tiga kasus yang melibatkan ChatGPT.
Beberapa kasus berakhir tragis. Alex Taylor (35 tahun), yang hidup dengan Asperger, gangguan bipolar, dan skizoafektif, menurut Rolling Stone. Pada April lalu, setelah berbicara dengan ChatGPT, Taylor mulai percaya bahwa dia telah menghubungi entitas yang sadar dalam perangkat lunak OpenAI dan kemudian, bahwa perusahaan telah membunuh entitas itu. Pada 25 April, Taylor memberi tahu ChatGPT bahwa dia berencana untuk “menumpahkan darah” dan bermaksud memprovokasi polisi untuk menembaknya. Balasan ChatGPT awalnya tampak mendorong delusi dan amarahnya sebelum filter keamanannya akhirnya aktif dan berusaha meredakan situasi, mendesaknya untuk mencari pertolongan.
Hari yang sama, ayah Taylor menelepon polisi setelah berkelahi dengannya, berharap putranya dibawa untuk evaluasi psikiatri. Taylor dilaporkan menyerang polisi dengan pisau saat mereka tiba dan ditembak mati. OpenAI mengatakan kepada Rolling Stone bahwa mereka “bekerja untuk lebih memahami dan mengurangi cara ChatGPT mungkin tanpa sengaja memperkuat perilaku negatif yang sudah ada.”
Adler bilang dia tidak sepenuhnya terkejut dengan munculnya kasus-kasus seperti ini, tetapi mencatat bahwa “skala dan intensitasnya lebih buruk dari yang saya perkirakan untuk tahun 2025.”
“Banyak dari perilaku model dasarnya sangat tidak bisa dipercaya, dan saya terkejut perusahaan AI terkemuka belum bisa menghentikan ini,” katanya. “Saya tidak berpikir masalah ini melekat pada AI, artinya, saya tidak berpikir mustahil untuk diatasi.”
Dia bilang masalahnya kemungkinan merupakan kombinasi rumit dari desain produk, kecenderungan model dasar, cara beberapa orang berinteraksi dengan AI, dan struktur dukungan yang disediakan perusahaan AI untuk produk mereka.
“Ada cara untuk membuat produk lebih kuat untuk membantu orang yang mengalami kejadian seperti psikosis, serta pengguna biasa yang menginginkan model yang kurang tidak menentu dan lebih bisa dipercaya,” kata Adler. Saran Adler kepada perusahaan AI termasuk menempatkan tim dukungan yang memadai, menggunakan alat keamanan dengan benar, dan memberikan pengingat halus untuk mendorong pengguna mengakhiri sesi chat yang lama dan memulai yang baru. OpenAI, misalnya, telah mengakui bahwa fitur keamanan bisa menurun selama chat yang panjang. Tanpa perubahan ini, Adler khawatir akan ada lebih banyak kasus seperti Brooks.
“Delusi ini cukup umum dan punya pola yang mirip, jadi saya yakin ini bukan cuma kesalahan kecil,” katanya. “Apakah ini akan terus terjadi, atau berapa banyak kasusnya, sangat tergantung pada bagaimana perusahaan menanggapinya dan langkah apa yang mereka ambil untuk menguranginya.”