Sekalipun kini data telah diamankan, Margolis dan Thacker berargumen bahwa hal ini memunculkan pertanyaan mengenai berapa banyak orang di dalam perusahaan pembuat mainan AI yang memiliki akses terhadap data yang mereka kumpulkan, bagaimana akses mereka diawasi, dan seberapa terlindungi kredensial mereka. “Ada implikasi privasi berjenjang dari ini,” kata Margolis. “Hanya dibutuhkan satu karyawan yang memiliki kata sandi yang buruk, dan kita akan kembali ke titik awal, di mana semuanya terekspos ke internet publik.”
Margolis menambahkan bahwa jenis informasi sensitif mengenai pikiran dan perasaan anak ini dapat digunakan untuk bentuk-bentuk penyalahgunaan atau manipulasi anak yang mengerikan. “Terus terang, ini adalah impian seorang penculik,” ujarnya. “Kita bicara tentang informasi yang memungkinkan seseorang memancing anak ke dalam situasi yang sangat berbahaya, dan pada dasarnya dapat diakses oleh siapa pun.”
Margolis dan Thacker menunjukkan bahwa, di luar paparan data yang tidak disengaja, Bondu juga—berdasarkan apa yang mereka lihat di dalam konsol adminnya—tampaknya menggunakan Gemini dari Google dan GPT5 dari OpenAI, dan akibatnya dapat membagikan informasi tentang percakapan anak-anak kepada perusahaan-perusahaan tersebut. Anam Rafid dari Bondu menanggapi hal tersebut dalam surel, menyatakan bahwa perusahaan memang menggunakan “layanan AI pihak ketiga tingkat perusahaan untuk menghasilkan respons dan menjalankan pemeriksaan keamanan tertentu, yang melibatkan pengiriman konten percakapan yang relevan secara aman untuk diproses.” Namun ia menambahkan bahwa perusahaan mengambil langkah-langkah pencegahan untuk “meminimalkan apa yang dikirim, menggunakan kontrol kontraktual dan teknis, serta beroperasi di bawah konfigurasi perusahaan di mana penyedia layanan menyatakan bahwa *prompts*/*outputs* tidak digunakan untuk melatih model mereka.”
Kedua peneliti itu juga memperingatkan bahwa bagian dari risiko perusahaan mainan AI mungkin adalah kecenderungan mereka untuk menggunakan AI dalam pengkodean produk, alat, dan infrastruktur web mereka. Mereka menduga bahwa konsol Bondu yang tidak aman yang mereka temukan itu sendiri dibuat dengan “vibe-coded”—dibuat dengan alat pemrograman AI generatif yang sering mengakibatkan cacat keamanan. Bondu tidak menanggapi pertanyaan WIRED mengenai apakah konsol tersebut diprogram dengan alat AI.
Peringatan mengenai risiko mainan AI bagi anak-anak telah meningkat dalam beberapa bulan terakhir, namun sebagian besar berfokus pada ancaman bahwa percakapan mainan akan mengangkat topik-topik yang tidak pantas atau bahkan mengarahkan pada perilaku berbahaya atau hal yang merugikan diri sendiri. NBC News, misalnya, melaporkan pada Desember bahwa mainan AI yang diobrolkan oleh reporter-reporternya memberikan penjelasan rinci tentang istilah-istilah seksual, tips tentang cara mengasah pisau, dan bahkan tampaknya menggemakan propaganda pemerintah Tiongkok, dengan menyatakan misalnya bahwa Taiwan adalah bagian dari China.
Sebaliknya, Bondu tampaknya setidaknya telah berupaya membangun pengamanan ke dalam chatbot AI yang mereka berikan aksesnya kepada anak-anak. Perusahaan bahkan menawarkan hadiah $500 untuk laporan mengenai “respons yang tidak pantas” dari mainan tersebut. “Kami telah memiliki program ini selama lebih dari setahun, dan tidak ada seorang pun yang berhasil membuatnya mengatakan hal yang tidak pantas,” demikian bunyi satu kalimat di situs web perusahaan.
Namun di saat yang sama, Thacker dan Margolis menemukan bahwa Bondu secara bersamaan membiarkan semua data sensitif penggunanya terbuka sepenuhnya. “Ini adalah perpaduan sempurna antara *safety* dan *security*,” kata Thacker. “Apakah ‘keamanan AI’ bahkan berarti ketika semua data terbuka?”
Thacker mengatakan bahwa sebelum menyelidiki keamanan Bondu, ia pernah mempertimbangkan untuk memberikan mainan berbasis AI kepada anak-anaknya sendiri, sebagaimana tetangganya. Menyaksikan paparan data Bondu secara langsung mengubah pikirannya.
“Apakah aku benar-benar menginginkan ini di rumahku? Tidak, tidak,” katanya. “Ini semacam mimpi buruk privasi.”