Semua dari 400 sistem AI yang terbuka yang ditemukan oleh UpGuard memiliki satu hal yang sama: Mereka menggunakan kerangka AI open source yang disebut llama.cpp. Software ini memungkinkan orang untuk relatif mudah mendeploy model AI open source pada sistem atau server mereka sendiri. Namun, jika tidak diatur dengan benar, itu bisa secara tidak sengaja mengekspos prompts yang dikirim. Karena perusahaan dan organisasi dari berbagai ukuran mendeploy AI, mengonfigurasi sistem dan infrastruktur yang digunakan dengan benar sangat penting untuk mencegah kebocoran. Perbaikan cepat terhadap AI generatif selama tiga tahun terakhir telah menyebabkan ledakan dalam teman dan sistem AI yang terlihat lebih “manusia.” Sebagai contoh, Meta telah bereksperimen dengan karakter AI yang bisa diajak orang berbicara di WhatsApp, Instagram, dan Messenger. Secara umum, situs dan aplikasi teman memungkinkan orang untuk berbincang-bincang dengan karakter AI – menggambarkan karakter dengan kepribadian yang dapat disesuaikan atau sebagai tokoh masyarakat seperti selebriti. Orang telah menemukan persahabatan dan dukungan dari percakapan mereka dengan AI – dan tidak semuanya mendorong skenario romantis atau seksual. Mungkin tidak mengherankan, walaupun, orang telah jatuh cinta dengan karakter AI mereka, dan puluhan layanan pacar AI telah muncul dalam beberapa tahun terakhir. Claire Boine, seorang peneliti pasca doktoral di Sekolah Hukum Universitas Washington dan afiliasi Institut Cordell, mengatakan bahwa jutaan orang, termasuk orang dewasa dan remaja, menggunakan aplikasi teman AI umum. “Kita tahu bahwa banyak orang mengembangkan ikatan emosional dengan chatbot,” kata Boine, yang telah menerbitkan penelitian tentang subjek tersebut. “Orang yang terikat emosional dengan teman AI mereka, misalnya, membuat mereka lebih mungkin untuk mengungkapkan informasi pribadi atau intim.” Namun, Boine mengatakan, seringkali terdapat ketidakseimbangan kekuatan dalam menjadi terikat emosional pada AI yang dibuat oleh entitas korporasi. “Terkadang orang terlibat dalam percakapan tersebut pada awalnya untuk mengembangkan jenis hubungan itu,” kata Boine. “Tapi kemudian saya merasa bahwa begitu mereka mengembangkannya, mereka tidak bisa keluar begitu mudah.” Seiring dengan berkembangnya industri teman AI, beberapa layanan ini kurang memiliki moderasi konten dan kontrol lainnya. Character AI, yang didukung oleh Google, sedang disuakan setelah seorang remaja dari Florida bunuh diri setelah diduga terobsesi dengan salah satu chatbotnya. (Character AI telah meningkatkan alat keselamatannya dari waktu ke waktu.) Secara terpisah, pengguna alat AI generatif Replika terguncang ketika perusahaan melakukan perubahan pada kepribadian mereka. Selain dari teman-teman individu, ada juga layanan teman peran dan fantasi – masing-masing dengan ribuan persona yang dapat diajak bicara orang – yang menempatkan pengguna sebagai karakter dalam sebuah skenario. Beberapa dari ini bisa sangat seksual dan menyediakan percakapan NSFW. Mereka bisa menggunakan karakter anime, beberapa di antaranya terlihat muda, dengan beberapa situs mengklaim mereka memungkinkan percakapan “tanpa sensor.” “Kami melakukan uji coba ketegangan ini dan terus terkejut dengan apa yang platform-platform ini diizinkan katakan dan lakukan tanpa regulasi atau batasan,” kata Adam Dodge, pendiri Endtab (Ending Technology-Enabled Abuse). “Ini bahkan belum sepenuhnya menjadi perhatian orang.” Dodge mengatakan bahwa teknologi ini membuka era baru industri porno online, yang pada gilirannya dapat memunculkan masalah-masalah sosial baru seiring teknologi terus berkembang dan membaik. “Pengguna pasif sekarang menjadi peserta aktif dengan kendali yang belum pernah terjadi sebelumnya atas tubuh digital dan kemiripan wanita dan gadis,” katanya tentang beberapa situs.