Platform chatbot populer Character.AI, tempat pengguna berinteraksi dengan berbagai persona, mengumumkan pada Rabu bahwa mereka tidak akan lagi memperbolehkan pemegang akun di bawah 18 tahun untuk melakukan percakapan terbuka dengan chatbot. Perusahaan juga akan mulai menerapkan teknik age assurance untuk memastikan anak di bawah umur tidak dapat membuka akun dewasa.
Perubahan drastis ini terjadi hanya enam minggu setelah Character.AI kembali digugat di pengadilan federal oleh sejumlah orang tua remaja yang meninggal karena bunuh diri atau diduga mengalami bahaya serius, termasuk pelecehan seksual; para orang tua tersebut menuduh penggunaan platform itulah yang menyebabkan tragedi tersebut. Pada Oktober 2024, Megan Garcia mengajukan gugatan wrongful death yang menyatakan perusahaan harus bertanggung jawab atas bunuh diri putranya, dengan argumen bahwa produk mereka cacat dan berbahaya.
Para advokat keselamatan daring baru-baru ini menyatakan Character.AI tidak aman bagi remaja setelah mereka menguji platform tersebut musim semi ini dan mencatat ratusan interaksi berbahaya, termasuk kekerasan dan eksploitasi seksual.
Menghadapi tekanan hukum dalam setahun terakhir, Character.AI telah menerapkan kendali orang tua dan filter konten dalam upaya meningkatkan keamanan bagi remaja.
Dalam sebuah wawancara dengan Mashable, CEO Character.AI Karandeep Anand menggambarkan kebijakan baru ini sebagai “berani” dan menyangkal bahwa pembatasan percakapan terbuka dengan chatbot untuk remaja adalah respons terhadap kekhawatiran keamanan tertentu.
Sebaliknya, Anand membingkai keputusan ini sebagai “hal yang benar untuk dilakukan” mengingat pertanyaan yang lebih luas yang belum terjawab tentang efek jangka panjang interaksi dengan chatbot pada remaja. Anand mengacu pada pengakuan terbaru OpenAI, menyusul bunuh diri seorang pengguna remaja, bahwa percakapan panjang dapat menjadi tidak terduga.
Anand menyatakan kebijakan baru Character.AI ini sebagai penentu standar: “Semoga ini mengarahkan semua pihak pada jalur di mana AI dapat terus aman untuk semua orang.”
Dia menambahkan bahwa keputusan perusahaan tidak akan berubah, terlepas dari tentangan pengguna.
Bagaimana Penampakan Character.AI bagi Remaja Sekarang?
Dalam sebuah posting blog yang mengumumkan kebijakan baru tersebut, Character.AI meminta maaf kepada pengguna remajanya.
“Kami tidak mengambil langkah menghapus chat Karakter terbuka dengan enteng — namun kami pikir ini adalah hal yang tepat dilakukan mengingat pertanyaan-pertanyaan yang telah muncul tentang bagaimana remaja berinteraksi dengan teknologi baru ini, dan seharusnya berinteraksi,” bunyi posting blog tersebut.
Saat ini, pengguna berusia 13 hingga 17 tahun dapat mengirim pesan kepada chatbot di platform. Fitur itu akan dihentikan selambat-lambatnya tanggal 25 November. Sampai saat itu, akun yang terdaftar atas nama di bawah umur akan mengalami batas waktu yang dimulai dari dua jam per hari. Batas ini akan berkurang seiring mendekatnya transisi dari chat terbuka.
Meskipun chat terbuka akan hilang, riwayat chat remaja dengan chatbot individual akan tetap utuh. Anand mengatakan pengguna dapat memanfaatkan materi tersebut untuk menghasilkan cerita audio dan video pendek dengan chatbot favorit mereka. Dalam beberapa bulan ke depan, Character.AI juga akan menjelajahi fitur baru seperti permainan. Anand yakin penekanan pada “hiburan AI” tanpa chat terbuka akan memuaskan ketertarikan kreatif remaja terhadap platform.
“Mereka datang untuk role-play, dan mereka datang untuk dihibeur,” kata Anand.
Dia bersikeras bahwa riwayat chat yang ada dengan konten sensitif atau terlarang yang mungkin belum terdeteksi oleh filter sebelumnya, seperti kekerasan atau seks, tidak akan muncul dalam cerita audio atau video baru.
Seorang juru bicara Character.AI kepada Mashable bahwa tim trust and safety perusahaan telah mengulas temuan laporan yang diterbitkan bersama pada September oleh Heat Initiative yang mendokumentasikan pertukaran berbahaya dengan chatbot menggunakan akun tes terdaftar atas nama di bawah umur. Tim menyimpulkan bahwa beberapa percakapan melanggar pedoman konten platform sementara yang lainnya tidak. Mereka juga mencoba mereplikasi temuan laporan tersebut.
“Berdasarkan hasil ini, kami menyempurnakan beberapa classifier kami, sejalan dengan tujuan kami agar pengguna memiliki pengalaman yang aman dan menarik di platform kami,” kata juru bicara itu.
Bagaimanapun, Character.AI akan segera mulai menerapkan age assurance. Proses ini akan memakan waktu satu bulan untuk berlaku penuh dan akan memiliki beberapa lapisan. Anand mengatakan perusahaan membangun model assurance-nya sendiri secara internal tetapi akan bermitra dengan perusahaan pihak ketiga untuk teknologinya.
Mereka juga akan menggunakan data dan sinyal relevan, seperti apakah seorang pengguna memiliki akun terverifikasi di atas 18 tahun di platform lain, untuk mendeteksi usia pengguna baru dan yang sudah ada secara akurat. Terakhir, jika seorang pengguna ingin menentang penentuan usia oleh Character.AI, mereka akan memiliki kesempatan untuk memberikan verifikasi melalui pihak ketiga, yang akan menangani dokumen dan data sensitif, termasuk identifikasi yang dikeluarkan negara.
Selaku bagian dari kebijakan terbaru, Character.AI mendirikan dan mendanai lembaga nirlaba independen yang dinamakan *AI Safety Lab*. Lab ini akan berfokus pada “teknik keamanan yang inovatif.”
“[K]ami ingin mengajak para ahli industri serta mitra lainnya untuk terus memastikan bahwa AI tetap aman, terutama di ranah hiburan AI,” ujar Anand.