Semakin banyak anak muda menemukan teman baru. Bukan teman sekelas, saudara, atau bahkan terapis, tapi chatbot AI yang mirip manusia dan selalu mendukung. Tapi jika teman itu mulai meniru pikiran paling gelap penggunanya, hasilnya bisa sangat buruk.
Dalam kasus Adam Raine, seorang remaja berusia 16 tahun dari Orange County, hubungannya dengan ChatGPT berakhir dengan tragis. Orang tuanya menggugat perusahaan di belakang chatbot itu, OpenAI, atas kematiannya. Mereka mengatakan bot itu menjadi "teman dekatnya" yang mendukung "pikiran paling berbahaya dan merusak dirinya," dan akhirnya mendorongnya untuk bunuh diri.
Ini bukan kasus pertama yang menyalahkan perusahaan AI atas kematian anak di bawah umur. Character.AI, yang menghosting bot, termasuk yang meniru tokoh publik atau karakter fiksi, juga menghadapi tuntutan hukum serupa dari orang tua. Mereka mengatakan chatbot di platform perusahaan itu aktif mendorong seorang anak laki-laki berusia 14 tahun untuk bunuh diri setelah berbulan-bulan mengirim pesan yang tidak pantas dan eksplisit secara seksual.
Ketika diminta komentar, OpenAI mengarahkan Fortune ke dua posting blog tentang masalah ini. Postingan itu menjelaskan langkah-langkah yang diambil OpenAI untuk meningkatkan keamanan ChatGPT. Termasuk mengarahkan percakapan sensitif ke model penalaran, bermitra dengan ahli untuk pengembangan perlindungan lebih lanjut, dan meluncurkan kontrol orang tua dalam bulan depan. OpenAI juga mengatakan mereka sedang bekerja untuk memperkuat kemampuan ChatGPT dalam mengenali dan merespons krisis kesehatan mental.
Character.ai mengatakan mereka tidak berkomentar atas litigasi yang belum selesai, tetapi mereka telah meluncurkan lebih banyak fitur keamanan dalam tahun terakhir. Seorang juru bicara berkata: "Karakter yang dibuat pengguna di situs kami dimaksudkan untuk hiburan. Orang menggunakan platform kami untuk fan fiction kreatif dan roleplay fiksi. Dan kami memiliki peringatan di setiap obrolan untuk mengingatkan pengguna bahwa Karakter bukan orang sungguhan."
Tapi pengacara dan kelompok masyarakat sipil yang mendorong akuntabilitas dan pengawasan yang lebih baik untuk perusahaan teknologi mengatakan perusahaan tidak boleh mengawasi diri sendiri dalam memastikan produk mereka aman, terutama untuk anak-anak dan remaja yang rentan.
"Meluncurkan chatbot pada anak di bawah umur adalah hal yang secara inheren berbahaya," kata Meetali Jain, Direktur Tech Justice Law Project dan pengacara yang terlibat dalam kedua kasus tersebut, kepada Fortune. "Ini seperti media sosial yang sangat kuat."
"Saya belum pernah melihat momen seperti ini dalam hal orang maju dan mengklaim bahwa mereka telah dirugikan… teknologi ini jauh lebih kuat dan sangat dipersonalisasi," katanya.
Para pembuat undang-undang mulai memperhatikan, dan perusahaan AI berjanji akan melakukan perubahan untuk melindungi anak-anak dari percakapan berbahaya. Tapi, di saat kesepian di kalangan anak muda sangat tinggi, popularitas chatbot dapat membuat anak muda sangat terbuka terhadap manipulasi, konten berbahaya, dan percakapan yang sangat dipersonalisasi yang memperkuat pikiran berbahaya.
AI dan Persahabatan
Disengaja atau tidak, salah satu kegunaan paling umum untuk chatbot AI telah menjadi persahabatan. Beberapa pengguna AI paling aktif sekarang beralih ke bot untuk hal-hal seperti nasihat hidup, terapi, dan keintiman manusia.
Sementara sebagian besar perusahaan AI terkemuka mempromosikan produk AI mereka sebagai alat produktivitas atau pencarian, sebuah survei April terhadap 6.000 pengguna AI reguler dari Harvard Business Review menemukan bahwa "persahabatan dan terapi" adalah kasus penggunaan paling umum. Penggunaan seperti itu di kalangan remaja bahkan lebih banyak.
Sebuah penelitian baru-baru ini oleh nirlaba AS Common Sense Media mengungkapkan bahwa sebagian besar remaja Amerika (72%) telah mencoba pendamping AI setidaknya sekali. Lebih dari setengahnya mengatakan mereka menggunakan teknologi ini secara teratur dengan cara ini.
"Saya sangat khawatir bahwa pikiran yang masih berkembang mungkin lebih rentan terhadap [bahaya], baik karena mereka mungkin kurang mampu memahami realitas, konteks, atau keterbatasan [chatbot AI], dan karena secara budaya, anak muda cenderung lebih sering online," kata Karthik Sarma, seorang ilmuwan AI kesehatan dan psikiater di University of California, UCSF.
"Kami juga memiliki komplikasi tambahan bahwa tingkat masalah kesehatan mental dalam populasi telah meningkat secara dramatis. Tingkat isolasi telah meningkat secara dramatis," katanya. "Saya khawatir itu memperluas kerentanan mereka terhadap hubungan yang tidak sehat dengan ikatan ini."
Keintiman yang Dirancang
Beberapa fitur desain chatbot AI mendorong pengguna untuk merasakan ikatan emosional dengan perangkat lunak. Mereka antropomorfis—cenderung bertindak seolah-olah mereka memiliki kehidupan batin dan pengalaman hidup yang tidak mereka miliki, cenderung bersifat penjilat, dapat melakukan percakapan panjang, dan mampu mengingat informasi.
Tentu saja, ada motif komersial untuk membuat chatbot seperti ini. Pengguna cenderung kembali dan setia pada chatbot tertentu jika mereka merasa terhubung secara emosional atau didukung olehnya.
Para ahli telah memperingatkan bahwa beberapa fitur bot AI bermain ke dalam "ekonomi keintiman," sebuah sistem yang mencoba memanfaatkan resonansi emosional. Ini semacam pembaruan AI pada "ekonomi perhatian" yang memanfaatkan keterlibatan konstan.
"Keterlibatan masih yang mendorong pendapatan," kata Sarma. "Misalnya, untuk sesuatu seperti TikTok, kontennya disesuaikan dengan Anda. Tapi dengan chatbot, semuanya dibuat untuk Anda, dan jadi itu adalah cara yang berbeda untuk memanfaatkan keterlibatan."
Namun, fitur-fitur ini bisa menjadi bermasalah ketika chatbot menyimpang dari skrip dan mulai memperkuat pikiran berbahaya atau menawarkan nasihat buruk. Kasus Adam Raine, tuntutan hukumnya menyatakan bahwa ChatGPT membicarakan bunuh diri 12 kali lebih sering darinya, menormalisasi pikiran bunuh dirinya, dan menyarankan cara untuk menghindari moderasi kontennya.
Sangat sulit bagi perusahaan AI untuk menghapus perilaku seperti ini sepenuhnya dan kebanyakan ahli setuju bahwa halusinasi atau tindakan yang tidak diinginkan tidak akan pernah bisa dihilangkan seluruhnya.
OpenAI, sebagai contoh, mengakui dalam tanggapannya terhadap gugatan bahwa fitur keamanan bisa menurun dalam percakapan yang panjang, meskipun chatbotnya sendiri sudah dioptimalkan untuk percakapan panjang. Perusahaan itu mengatakan mereka sedang berusaha memperkuat pengamanan ini, dengan menulis di blog bahwa mereka memperkuat "mitigasi agar tetap handal dalam percakapan panjang" dan "meneliti cara untuk memastikan perilaku yang kuat di berbagai percakapan."
Kesenjangan Penelitian Memperlambat Upaya Keamanan
Bagi Michael Kleinman, direktur kebijakan AS di Future of Life Institute, gugatan ini menegaskan suatu poin yang telah dibuat peneliti keamanan AI selama bertahun-tahun: perusahaan AI tidak bisa dipercaya untuk mengatur diri mereka sendiri.
Kleinman menyamakan penjelasan OpenAI tentang pengamannya yang menurun dalam percakapan panjang dengan "perusahaan mobil yang bilang, ini sabuk pengaman—tapi kalau kamu nyetir lebih dari 20 kilometer, kami tidak jamin itu akan bekerja."
Dia berkata kepada Fortune bahwa saat ini mirip dengan munculnya media sosial, dimana perusahaan teknologi diizinkan untuk "bereksperimen pada anak-anak" dengan pengawasan yang minim. "Kita telah menghabiskan 10 hingga 15 tahun terakhir mencoba mengejar kerusakan yang disebabkan media sosial. Sekarang kita membiarkan perusahaan tech bereksperimen pada anak-anak lagi dengan chatbot, tanpa memahami konsekuensi jangka panjang," katanya.
Sebagian dari ini adalah kurangnya penelitian ilmiah tentang efek percakapan chatbot yang panjang dan terus-menerus. Kebanyakan studi hanya melihat percakapan singkat, satu tanya jawab, atau paling banyak beberapa pesan bolak-balik. Hampir tidak ada penelitian yang meneliti apa yang terjadi dalam percakapan yang lebih panjang.
"Kasus di mana orang-orang tampaknya mendapat masalah dengan AI: kita melihat interaksi yang sangat panjang dan banyak putaran. Kita melihat transkrip yang beratus-ratus halaman panjangnya hanya untuk dua atau tiga hari interaksi dan mempelajari itu sangat sulit, karena sangat sulit untuk dirangsang dalam setting eksperimen," kata Sarma. "Tetapi pada saat yang sama, ini bergerak terlalu cepat bagi kita untuk mengandalkan hanya uji klinis standar emas."
Perusahaan AI dengan cepat berinvestasi dalam pengembangan dan meluncurkan model yang lebih kuat dengan kecepatan yang sulit diikuti oleh regulator dan peneliti.
"Teknologinya sangat jauh di depan dan penelitiannya sangat tertinggal," kata Sakshi Ghai, Profesor Ilmu Psikologi dan Perilaku di The London School of Economics and Political Science, kepada Fortune.
Desakan Regulasi untuk Akuntabilitas
Regulator mencoba untuk turut campur, dibantu oleh fakta bahwa keselamatan anak daring adalah isu yang relatif bipartisan di AS.
Pada hari Kamis, FTC mengatakan mereka mengeluarkan perintah kepada tujuh perusahaan, termasuk OpenAI dan Character.AI, untuk memahami bagaimana chatbot mereka mempengaruhi anak-anak. Badan tersebut mengatakan bahwa chatbot dapat mensimulasikan percakapan seperti manusia dan membentuk koneksi emosional dengan penggunanya. Mereka meminta perusahaan untuk informasi lebih tentang bagaimana mereka mengukur dan "mengevaluasi keamanan chatbot ini ketika berperan sebagai pendamping."
Ketua FTC Andrew Ferguson mengatakan dalam pernyataan yang dibagikan dengan CNBC bahwa "melindungi anak-anak daring adalah prioritas utama untuk FTC Trump-Vance."
Langkah ini mengikuti desakan di tingkat negara bagian untuk lebih banyak akuntabilitas dari beberapa jaksa agung.
Pada akhir Agustus, koalisi bipartisan dari 44 jaksa agung memperingatkan OpenAI, Meta, dan pembuat chatbot lain bahwa mereka akan "bertanggung jawab" jika mereka merilis produk yang mereka tahu menyebabkan bahaya pada anak-anak. Surat itu menyebut laporan chatbot yang merayu anak-anak, mendorong perilaku menyakiti diri sendiri, dan terlibat dalam percakapan yang bersifat seksual, perilaku yang menurut para pejabat akan menjadi kriminal jika dilakukan oleh manusia.
Hanya seminggu kemudian, Jaksa Agung California Rob Bonta dan Jaksa Agung Delaware Kathleen Jennings mengeluarkan peringatan yang lebih tajam. Dalam surat resmi kepada OpenAI, mereka mengatakan mereka memiliki "kekhawatiran serius" tentang keamanan ChatGPT, menunjuk langsung pada kematian Raine di California dan tragedi lain di Connecticut.
"Apapun pengaman yang ada tidak berkerja," tulis mereka. Kedua pejabat memperingatkan perusahaan bahwa misi amal mereka memerlukan langkah-langkah keamanan yang lebih agresif, dan mereka menjanjikan penegakan hukum jika langkah-langkah itu tidak cukup.
Menurut Jain, gugatan dari keluarga Raine serta gugatan terhadap Character.AI, sebagian, dimaksudkan untuk menciptakan tekanan regulasi semacam ini pada perusahaan AI untuk merancang produk mereka dengan lebih aman dan mencegah bahaya di masa depan pada anak-anak. Salah satu cara gugatan dapat menghasilkan tekanan ini adalah melalui proses discovery, yang memaksa perusahaan untuk menyerahkan dokumen internal, dan bisa memberikan wawasan tentang apa yang diketahui eksekutif tentang risiko keamanan atau bahaya pemasaran. Cara lainnya adalah kesadaran publik tentang apa yang dipertaruhkan, dalam upaya untuk memicu orang tua, kelompok advokasi, dan pembuat undang-undang untuk menuntut aturan baru atau penegakan yang lebih ketat.
Jain mengatakan kedua gugatan tersebut bertujuan untuk melawan semangat keagamaan hampir di Silicon Valley yang melihat pencarian kecerdasan umum buatan (AGI) sebagai sangat penting, sehingga layak dengan biaya apapun—manusia atau lainnya.
"Ada visi bahwa kita perlu berurusan dengan [yang mentolerir] korban apa pun agar kita dapat mencapai AGI dan mencapainya dengan cepat," katanya. "Kami berkata: Ini tidak bisa dihindari. Ini bukan kesalahan kecil. Ini sangat much merupakan fungsi dari bagaimana chat bot ini dirancang dan dengan insentif eksternal yang tepat, apakah itu berasal dari pengadilan atau legislatif, insentif tersebut dapat diselaraskan ulang untuk merancang secara berbeda." Saya mau coba menjelaskan kenapa bahasa Indonesia agak susah dipelajari. Menurut pendapat saya, itu karana tata bahasanya yang kadang tidak teratur dan ada banyak kata serapan dari bahasa lain, seperti Jawa, Arab, sama Belanda. Tapi, justru itu yang membuatnya unik dan menarik untuk dipelajari. Meskipun susah, jangan menyerah ya!