Banyak chatbot AI sedang diselidiki karena ada risiko untuk kesehatan mental. Ini bisa terjadi ketika pengguna jadi punya hubungan emosi dengan teknologi itu atau menggunakannya untuk terapi atau bantuan saat krisis mental yang parah. Perusahaan-perusahaan sekarang mulai respons kritik dari pengguna dan ahli. Salah satu pemimpin baru di OpenAI bilang masalah ini adalah prioritas utama dalam pekerjaannya.
Bulan Mei lalu, Fidji Simo, yang dulunya kerja di Meta, di rekrut jadi CEO Aplikasi di OpenAI. Tugasnya adalah mengelola semua hal di luar penelitian CEO Sam Altman dan infrastruktur komputasi untuk model AI perusahaan. Dia jelaskan perbedaan besar antara kerja di perusahaan teknologi yang dipimpin Mark Zuckerberg dan yang dipimpin Altman, dalam wawancara dengan Wired yang terbit hari Senin.
“Saya rasa hal yang tidak kami lakukan dengan baik di Meta adalah memperkirakan risiko yang akan di buat produk kami di masyarakat,” kata Simo ke Wired. “Di OpenAI, risiko-risiko ini sangat nyata.”
Meta tidak langsung memberikan komentar saat diminta pendapat oleh Fortune.
Simo kerja selama satu dekade di Meta, saat itu masih bernama Facebook, dari 2011 sampai Juli 2021. Dua setengah tahun terakhir, dia pimpin aplikasi Facebook.
Pada Agustus 2021, Simo menjadi CEO layanan pengiriman belanja Instacart. Dia pimpin perusahaan itu selama empat tahun sebelum gabung ke salah satu startup paling berharga di dunia sebagai CEO kedua pada Agustus.
Salah satu inisiatif pertama Simo di OpenAI adalah kesehatan mental, kata perempuan 40 tahun itu ke Wired. Inisiatif lain yang jadi tugasnya adalah meluncurkan program sertifikasi AI perusahaan untuk bantu tingkatkan keterampilan AI pekerja di pasar kerja yang kompetitif dan coba mengurangi gangguan AI di dalam perusahaan.
“Jadi ini tanggung jawab yang sangat besar, tapi saya rasa kita punya budaya dan prioritas untuk benar-benar mengatasinya dari depan,” kata Simo.
Saat gabung dengan raksasa teknologi itu, Simo bilang bahwa hanya dengan melihat situasinya, dia langsung sadar bahwa kesehatan mental perlu diatasi.
Semakin banyak orang menjadi korban dari apa yang kadang disebut psikosis AI. Para ahli khawatir chatbot seperti ChatGPT mungkin memperburuk delusi dan paranoia pengguna, yang menyebabkan mereka dirawat di rumah sakit, bercerai, atau meninggal.
Sebuah audit perusahaan OpenAI oleh jurnal medis BMJ yang dirilis pada Oktober menunjukkan ratusan ribu pengguna ChatGPT menunjukkan tanda-tanda psikosis, mania, atau niat bunuh diri setiap minggunya.
Sebuah studi baru dari Brown University juga menemukan bahwa karena semakin banyak orang beralih ke ChatGPT dan model bahasa besar lain untuk nasihat kesehatan mental, mereka secara sistematis melanggar standar etik kesehatan mental yang dibuat oleh organisasi seperti American Psychological Association.
Simo bilang dia harus jalani jalan yang “belum diketahui” untuk atasi masalah kesehatan mental ini, dan menambahkan ada risiko yang melekat karena OpenAI terus meluncurkan fitur-fitur baru.
“Setiap minggu perilaku baru muncul dengan fitur yang kami luncurkan, dan kami seperti, ‘Oh, itu tantangan keamanan lain yang harus diatasi,'” kata Simo ke Wired.
Meski begitu, Simo telah awasi pengenalan kontrol orang tua baru-baru ini untuk akun remaja ChatGPT dan menambahkan bahwa OpenAI sedang kerjakan “prediksi usia untuk lindungi remaja.” Meta juga sudah bergerak untuk menerapkan kontrol orang tua pada awal tahun depan.
“Tetap saja, melakukan hal yang benar setiap kali sangatlah sulit,” kata Simo, karena jumlah penggunanya sangat banyak (800 juta per minggu). “Jadi yang kami coba lakukan adalah menangkap sebanyak mungkin perilaku yang tidak ideal dan kemudian terus menyempurnakan model kami.”