“AI itu mahal. Jujur saja,” kata Anand.
Pertumbuhan vs. Keamanan
Pada Oktober 2024, ibu seorang remaja yang meninggal akibat bunuh diri mengajukan gugatan kematian akibat kelalaian terhadap Character Technologies, pendirinya, Google, dan Alphabet. Dia menuduh perusahaan itu menargetkan anaknya dengan “pengalaman antropomorfik, hiperseksual, dan sangat realistis, sambil memprogram [chatbot] untuk menyamar sebagai orang sungguhan, psikoterapis berlisensi, dan kekasih dewasa.” Saat itu, juru bicara Character.AI memberitahu CNBC bahwa perusahaan “sangat berduka atas kejadian tragis ini” dan “sangat serius dalam menjaga keamanan pengguna.”
Insiden tragis ini membuat Character.AI mendapat sorotan tajam. Awal tahun ini, senator AS Alex Padilla dan Peter Welch menulis surat ke beberapa platform pendamping AI, termasuk Character.AI, menyoroti kekhawatiran tentang “risiko kesehatan mental dan keamanan bagi pengguna muda.”
“Tim telah menangani ini dengan sangat bertanggung jawab selama hampir setahun,” kata Anand. “AI bersifat stokastik, sulit untuk selalu memprediksi hasilnya. Jadi ini bukan investasi sekali saja.”
Ini sangat penting karena Character.AI terus berkembang. Startup ini memiliki 20 juta pengguna aktif bulanan yang menghabiskan rata-rata 75 menit per hari mengobrol dengan bot (“karakter” dalam istilah Character.AI). Basis penggunanya 55 persen perempuan, dan lebih dari 50 persen adalah Gen Z atau Gen Alpha. Dengan pertumbuhan ini muncul risiko nyata—apa yang dilakukan Anand untuk menjaga keamanan penggunanya?
“Enam bulan terakhir, kami mengalokasikan sumber daya besar-besaran untuk melayani pengguna di bawah 18 tahun secara berbeda dari yang di atas 18, yang tidak dilakukan tahun lalu,” ujar Anand. “Saya tidak bisa hanya memberi label 18+ di aplikasi dan mengatakan ‘gunakan untuk konten NSFW.’ Itu akan menciptakan aplikasi dan platform yang sangat berbeda.”
Lebih dari 10 dari 70 karyawan perusahaan bekerja penuh waktu di bidang kepercayaan dan keamanan, menurut Anand. Mereka bertugas membangun fitur seperti verifikasi usia, model terpisah untuk pengguna di bawah 18, dan fitur baru seperti parental insights, yang memungkinkan orang tua memantau penggunaan aplikasi oleh remaja.
Model untuk pengguna di bawah 18 diluncurkan Desember lalu. Menurut juru bicara Kathryn Kelly, ini mencakup “kumpulan Karakter yang dapat dicari lebih terbatas, dengan filter untuk menghilangkan konten sensitif atau dewasa.”
Tapi Anand mengatakan keamanan AI tidak hanya memerlukan penyesuaian teknis. “Membuat platform ini aman adalah kerja sama antara regulator, kami, dan orang tua,” katanya. Itulah mengapa melihat putrinya berinteraksi dengan Karakter sangat penting. “Ini harus tetap aman untuknya.”
Lebih dari Sekedar Pendamping
Pasar pendamping AI sedang berkembang pesat. Konsumen di seluruh dunia menghabiskan $68 juta untuk AI pendamping di paruh pertama tahun ini, naik 200 persen dari tahun lalu, menurut perkiraan CNBC. Startup AI berebut pangsa pasar: xAI meluncurkan pendamping bernuansa porno yang menyeramkan pada Juli lalu, bahkan Microsoft memposisikan chatbot Copilot sebagai pendamping AI.
Lalu, bagaimana Character.AI bersaing di pasar yang ramai? Jawabannya: dengan tidak terjebak di dalamnya.