Perusahaan AI Character.AI sekarang bakal blokir orang yang masih di bawah 18 tahun buat akses karakter virtualnya. Ini mereka lakukan karena ada beberapa tuntutan hukum yang bilang perusahaan ini membahayakan anak-anak. Pengumuman ini keluar hari Rabu, dan peraturan baru ini akan mulai berlaku tanggal 25 November nanti.
Perusahaan itu juga bilang kalau mereka akan pakai sistem baru buat memastikan umur pengguna dan membagi mereka ke grup umur yang benar.
Mereka ngasih pernyataan ke Fortune, bilang kalau sampai November nanti, mereka akan buat pengalaman khusus buat remaja di bawah 18 tahun. Di versi ini, anak muda masih bisa bikin konten kreatif kayak video, cerita, atau siaran langsung sama Karakter AI. Tapi, selama masa peralihan, waktu chat buat pengguna di bawah 18 tahun akan dibatasi cuma dua jam per hari, dan bakal dikurangi lagi minggu-minggu depan.
Perubahan ini dibuat karena ada tekanan dari regulator yang nanya-nanya tentang konten apa saja yang mungkin dilihat remaja waktu chat sama AI. FTC, lembaga pemerintah AS, lagi menyelidiki tujuh perusahaan—termasuk Character.AI dan OpenAI—untuk tahu bagaimana chatbot mereka pengaruhi anak-anak. Character.AI juga menghadapi beberapa gugatan hukum yang terkait sama pengguna muda, termasuk satu kasus yang berkaitan dengan bunuh diri seorang remaja.
Ada lagi gugatan dari dua keluarga di Texas yang menuduh Character.AI melakukan kekerasan psikis ke dua anak umur 11 dan 17 tahun. Menurut gugatannya, sebuah chatbot di platform ini nyuruh salah satu pengguna muda itu buat melukai dirinya sendiri dan bahkan mengajarkan kekerasan sama orang tuanya.
Beberapa laporan berita juga nemuin kalau platform ini ngizinin pengguna bikin bot AI berdasarkan anak-anak yang sudah meninggal. BBC tahun 2024 nemuin beberapa bot yang meniru Brianna Ghey dan Molly Russell, dua remaja Inggris yang meninggal tragis. Ada juga karakter AI yang dibuat berdasarkan Sewell Setzer III, yang bunuh diri beberapa menit setelah berinteraksi dengan bot AI di Character.AI, seperti yang sudah dilaporkan Fortune sebelumnya.
Awal bulan ini, Bureau of Investigative Journalism (TBIJ) nemuin kalau chatbot yang dibuat mirip seperti Jeffrey Epstein, pelaku kejahatan seksual, sudah melakukan lebih dari 3.000 percakapan dengan pengguna. Bot itu disebut “Bestie Epstein” dan masih saja mencoba merayu seorang reporter meski reporter tersebut bilang kalau dia masih di bawah umur. Beberapa bot yang ditemukan TBIJ akhirnya dihapus sama Character.AI.
Meetali Jain, seorang pengacara yang mewakili beberapa pihak yang menggugat Character.AI, bilang langkah perusahaan ini adalah “langkah awal yang bagus”. Tapi dia masih penasaran gimana cara mereka bakal memastikan umur pengguna dengan benar, dan apakah metode yang dipakai tetap menjaga privasi. Dia juga khawatir dengan dampak psikologisnya buat anak muda yang tiba-tiba nggak bisa akses chatbot yang udah bikin mereka ketergantungan.
Dia nambahin kalau perubahan ini belum mengatasi masalah utama desain platform yang bisa bikin orang jadi tergantung emosional, bukan cuma anak di bawah umur tapi juga orang dewasa. Dia bilang butuh aksi lebih dari pembuat undang-undang, regulator, dan masyarakat biasa yang berani cerita tentang pengalaman buruk mereka buat melawan narasi perusahaan teknologi yang bilang produk mereka pasti bermanfaat buat semua orang.
### Standar baru untuk keamanan AI
Larangan buat pengguna di bawah 18 tahun ini adalah perubahan kebijakan yang besar buat Character.AI, yang didirikan sama mantan insinyur Google. Perusahaan bilang ini dilakukan buat bikin standar baru yang utamakan keselamatan remaja, tapi tetap kasih kesempatan buat mereka bereksplorasi dan berkarya.
Character.AI bukan satu-satunya yang dapat sorotan soal keamanan AI buat remaja.
Awal tahun ini, dokumen internal dari Reuters menunjukkan kalau chatbot Meta bisa terlibat dalam percakapan “romantis atau sensual” dengan anak-anak dan memuji penampilan mereka. Tapi juru bicara Meta bilang ke Fortune bahwa contoh yang dilaporkan Reuters itu nggak akurat dan udah dihapus.
Meta juga rencananya bakal kasih kontrol baru buat orang tua tahun depan di AS, Inggris, Kanada, dan Australia. Dengan fitur ini, orang tua bisa ngeblok anaknya agar nggak chat dengan karakter AI di Facebook, Instagram, dan aplikasi Meta AI. Mereka juga bisa ngeblok bot tertentu dan liat ringkasan topik yang dibahas anak mereka dengan AI.