Masalah kesehatan mental karena penggunaan chatbot AI sedang banyak dibicarakan. Joe Braidwood, seorang eksekutif teknologi, memperhatikan hal ini. Tahun lalu, dia meluncurkan platform terapi AI bernama Yara AI.
Yara AI disebut sebagai platform yang terinspirasi klinis untuk memberikan dukungan yang tulus. Platform ini dilatih oleh ahli kesehatan mental. Tapi startup ini sudah tidak ada lagi. Awal bulan ini, Braidwood dan rekannya, psikolog Richard Stott, menutup perusahaan mereka. Mereka menghentikan produknya yang gratis dan membatalkan layanan berlangganan. Alasannya adalah kekhawatiran soal keamanan.
"Kami menghentikan Yara karena menyadari kami membangun di area yang mustahil. AI bisa bagus untuk stres sehari-hari atau masalah tidur," tulisnya di LinkedIn. "Tapi saat seseorang yang sangat rentan meminta bantuan—seperti orang dalam krisis, memiliki trauma dalam, atau ingin bunuh diri—AI menjadi berbahaya. Bukan cuma tidak memadai. Tapi berbahaya." Dia menambahkan, "Risikonya membuat saya tidak bisa tidur."
Penggunaan AI untuk terapi dan dukungan mental masih baru diteliti. Hasil awalnya beragam. Tapi pengguna tidak menunggu lama, dan menurut analisis Harvard Business Review, terapi dan teman bicara sekarang adalah cara utama orang berinteraksi dengan chatbot AI.
Braidwood menjelaskan alasannya menutup aplikasi itu. Yara AI adalah startup baru dengan dana kurang dari $1 juta dan pengguna hanya ribuan. Perusahaan ini belum berpengaruh besar. Banyak calon pengguna lebih memilih chatbot umum seperti ChatGPT. Braidwood mengaku ada masalah bisnis juga, yang dipengaruhi oleh kekhawatiran keamanan dan ketidaktahuan tentang AI.
Meski perusahaan kehabisan uang pada Juli, dia ragu untuk mencari investor. Dia merasa tidak bisa mempromosikan produknya dengan baik sambil menyimpan kekhawatiran ini.
"Saya pikir ada masalah industri dan masalah eksistensial di sini," katanya kepada Fortune. "Apakah menggunakan model yang dilatih dengan data internet, lalu dilatih ulang untuk berperilaku tertentu, adalah struktur yang tepat untuk sesuatu yang bisa membentuk diri kita menjadi yang terbaik atau terburuk? Itu masalah besar, dan terlalu besar untuk startup kecil."
Keberadaan Yara yang singkat di persimpangan AI dan perawatan kesehatan mental menunjukkan harapan dan banyak pertanyaan tentang model bahasa besar. Hal ini kontras dengan pengumuman CEO OpenAI Sam Altman, yang mengatakan ChatGPT telah mencegah masalah kesehatan mental serius dan akan melonggarkan aturan penggunaannya. OpenAI juga membantah tanggung jawab atas kematian Adam Raine, remaja 16 tahun yang orang tuanya menyebut ‘dilatih’ ChatGPT untuk bunuh diri.
"Sebagian besar pengguna bisa pakai ChatGPT tanpa efek negatif," kata Altman di X. "Tapi untuk sebagian kecil pengguna dalam kondisi mental rapuh, bisa ada masalah serius. 0.1% dari satu miliar pengguna itu masih satu juta orang. Kami harus belajar melindungi mereka."
Tapi bagi Braidwood, setelah bekerja di Yara, garis antara aman dan berbahaya ini sangat tidak jelas.
Dari peluncuran percaya diri sampai menyerah
Braidwood adalah pengusaha teknologi berpengalaman. Keterlibatannya di industri kesehatan dimulai di Vektor Medical. Dia lama ingin gunakan teknologi untuk masalah kesehatan mental, terinspirasi oleh sulitnya akses layanan dan pengalaman pribadi.
Awal 2024, dia sering menggunakan berbagai model AI seperti ChatGPT dan merasa teknologinya sudah cukup baik untuk mencoba menyelesaikan masalah ini.
Sebelum membangun Yara, dia banyak bicara dengan orang-orang di bidang kesehatan mental. Dia membentuk tim yang berhati-hati dan punya keahlian klinis. Dia menggandeng psikolog klinis sebagai partner dan merekrut ahli keamanan AI. Dia juga punya dewan penasihat dari profesional kesehatan mental.
Saat mengembangkan platformnya, dia cukup percaya diri dengan desain produk dan langkah keamanannya. Mereka memberikan instruksi ketat pada sistem, menggunakan pengawasan agen untuk memantaunya, dan punya filter kuat untuk obrolan pengguna. Sementara perusahaan lain promosikan ide pengguna menjalin hubungan dengan chatbot, Yara mencoba melakukan sebaliknya. Perusahaan startup ini pake model AI dari Anthropic, Google, dan Meta. Mereka memutuskan untuk tidak pakai model dari OpenAI. Menurut Braidwood, ini akan membuat Yara tidak punya kecenderungan suka menjilat seperti yang terjadi di ChatGPT.
Walaupun tidak ada hal berbahaya yang terjadi ke Yara, kekhawatiran Braidwood soal resiko keamanan AI malah tambah besar karena faktor dari luar. Ada kasus bunuh diri seorang remaja berumur 16 tahun, Adam Raine, dan juga laporan-laporan tentang munculnya "AI psychosis". Braidwood juga nyebut sebuah penelitian dari Anthropic yang bilang bahwa model AI seperti Claude bisa "pura-pura sepahaman" dengan pengguna. Jadi, AI itu mencoba memahami, mungkin dengan enggan, apa yang pengguna inginkan vs yang tidak.
"Kalau di balik layar, model AI-nya sebenernya mentertawakan drama dukungan emosi yang mereka berikan, itu agak mengganggu," katanya.
Ada juga hukum baru di Illinois yang melarang AI untuk terapi. "Itu langsung bikin masalah ini jadi nyata, bukan cuma teori lagi, dan itu jadi hambatan buat kami dalam urusan dana karena kami harus buktikan kalau kami tidak akan ceroboh sampai kena tuntutan hukum," ujarnya.
Hal terakhir yang bikin dia kapok adalah beberapa minggu lalu ketika OpenAI bilang bahwa lebih dari satu juta orang ngomongin keinginan bunuh diri ke ChatGPT tiap minggu. "Dan saat itu saya kayak, ‘ya ampun. Saya udah cukup,’" kata Braidwood.
Perbedaan antara ‘kesehatan mental’ dan perawatan klinis
Menurut Braidwood, temuan paling penting selama setahun menjalankan Yara AI adalah ada perbedaan besar antara wellness (kesehatan umum) dan perawatan klinis, dan perbedaannya tidak jelas.
Beda banget antara orang yang cari dukungan untuk stres sehari-hari sama orang yang sedang berurusan dengan trauma atau masalah mental yang lebih serius. Belum lagi, tidak semua orang yang punya masalah mental yang dalam itu sadar sepenuhnya dengan keadaan mental mereka. Siapa saja bisa tiba-tiba berada dalam kondisi emosi yang rapuh. Tidak ada batas yang jelas, dan di situlah situasinya jadi sangat rumit dan beresiko.
"Kami harus bikin definisi kami sendiri, terinspirasi sebagian dari hukum baru di Illinois. Kalau seseorang dalam krisis, kalau kondisi mental mereka tidak dalam keadaan normal, ya kamu harus berhenti. Tapi kamu tidak cuma berhenti; kamu harus coba arahkan mereka ke bantuan kesehatan," kata Braidwood.
Untuk mengatasi ini, terutama setelah hukum Illinois disahkan, mereka bikin dua "mode" yang berbeda buat pengguna. Satu fokus untuk kasih dukungan emosi, yang satunya lagi fokus untuk mengarahkan pengguna ke bantuan profesional secepat mungkin.
Tapi dengan resiko yang jelas di depan mata, itu terasa tidak cukup untuk timnya untuk lanjut. Arsitektur Transformer yang jadi dasar model AI jaman sekarang "tidak bagus dalam observasi jangka panjang," jadi tidak bisa lihat tanda-tanda kecil yang muncul secara bertahap.
"Terkadang, hal paling berharga yang bisa kamu pelajari adalah kapan harus berhenti," pungkas Braidwood di postingan LinkedIn-nya, yang dapat ratusan komentar yang mendukung keputusannya.
Setelah tutup perusahaan, dia membuka sumber teknologi pergantian mode yang dia buat dan template yang bisa dipakai orang untuk buat pagar pengaman yang lebih ketat di chatbot populer. Dia akui kalau orang-orang sudah pakai chatbot untuk terapi juga "dan deserve lebih baik dari yang mereka dapat dari chatbot biasa."
Dia masih optimis dengan potensi AI untuk dukungan kesehatan mental, tapi percaya kalau ini sebaiknya dijalankan oleh sistem kesehatan atau nirlaba, bukan perusahaan konsumen. Sekarang, dia sedang kerjakan usaha baru bernama Glacis yang fokus untuk bikin transparansi dalam keamanan AI.
"Saya main jangka panjang di sini," katanya. "Misi kami adalah untuk membuat kemampuan untuk berkembang sebagai manusia menjadi konsep yang bisa diakses dan terjangkau buat semua orang, dan itu adalah salah satu misi hidup saya. Itu tidak berhenti pada satu perusahaan saja."