Beberapa pekan setelah X milik Elon Musk dibanjiri gambar-gambar hasil AI yang menggambarkan orang, termasuk anak-anak, dalam cara yang diseksualisasi tanpa persetujuan, California tengah menyelidiki bagaimana hal ini bisa terjadi. Jaksa Agung negara bagian tersebut, Rob Bonta, mengumumkan pada Rabu bahwa dirinya membuka penyelidikan atas situasi ini untuk menentukan apakah X dan xAI—perusahaan AI milik Musk dan pembuat chatbot Grok yang digunakan untuk menghasilkan gambar-gambar pornografis tersebut—melanggar hukum.
“Banjiran laporan yang merinci materi eksplisit seksual tanpa persetujuan yang diproduksi dan diposting xAI secara daring dalam beberapa pekan terakhir sangat mengejutkan. Materi ini, yang menggambarkan perempuan dan anak-anak dalam situasi telanjang dan eksplisit seksual, telah digunakan untuk melecehkan orang-orang di seluruh internet,” kata Bonta dalam sebuah pernyataan. Ia juga mendesak xAI untuk mengambil “tindakan segera” guna memastikan konten semacam itu tidak dapat dibuat dan disebarkan.
Bonta tampaknya mendapat dukungan publik yang cukup besar untuk penyelidikan ini. Jajak pendapat YouGov baru-baru ini menemukan bahwa 97% responden menyatakan alat-alat AI seharusnya tidak diizinkan untuk membuat konten eksplisit seksual tentang anak-anak, dan 96% mengatakan alat-alat tersebut tidak seharusnya mampu ‘membuka pakaian’ anak di bawah umur dalam gambar.
Penyelidikan akan berfokus pada tren yang muncul di X selama liburan musim dingin, di mana pengguna meminta Grok di platform tersebut untuk memodifikasi gambar orang agar menunjukkan mereka dalam berbagai keadaan tidak berpakaian. Tren ini menjadi cukup besar sehingga, menurut firma analisis konten AI Copyleaks, Grok menghasilkan gambar yang diseksualisasi tanpa persetujuan setiap menitnya. Sebagian gambar tersebut mencakup anak-anak, yang oleh pengguna diminta kepada Grok untuk ‘dibuka pakaiannya’ dan digambarkan dalam pakaian dalam atau bikini. Seringkali, pengguna meminta Grok untuk menambahkan ‘glaze donat’ pada wajah subjek gambar.
Musk—CEO dari X, perusahaan tempat gambar-gambar itu dibagikan, sekaligus xAI, perusahaan yang membuat model AI yang digunakan untuk menghasilkan gambar—memilih untuk mengaburkan atau mengklaim ketidaktahuan atas situasi ini. Dalam sebuah postingan sebelum penyelidikan California diumumkan, Musk berkata, “Saya tidak mengetahui adanya gambar-gambar bawah umur telanjang yang dihasilkan Grok. Benar-benar nol.”
Kesempitan pernyataannya melakukan banyak pekerjaan berat, dengan mengatakan dia tidak tahu soal ‘gambar bawah umur telanjang’. Itu tidak menyangkal keberadaan gambar telanjang, gambar orang di bawah umur yang tidak berpakaian, atau orang yang digambarkan dalam situasi yang diseksualisasi. Itu juga tidak membahas fakta bahwa banyak gambar tersebut dibuat tanpa persetujuan, dihasilkan tanpa izin dari orang yang digambarkan. Dalam banyak sekali kasus, gambar-gambar itu secara langsung digunakan untuk melecehkan akun-akun di X.
Sejauh Musk bersedia mengakui bahwa masalah seperti itu mungkin ada, dia menyalahkan pengguna, bukan model AI atau platform yang menyebarkan konten. “Jelas, Grok tidak secara spontan menghasilkan gambar; ia melakukannya hanya sesuai permintaan pengguna. Ketika diminta membuat gambar, ia akan menolak untuk menghasilkan sesuatu yang ilegal, karena prinsip operasional Grok adalah mematuhi hukum negara atau negara bagian mana pun,” ujarnya. “Mungkin ada kalanya peretasan terhadap *prompts* Grok melakukan sesuatu yang tak terduga. Jika itu terjadi, kami perbaiki *bug*-nya segera.”
Itu kira-kira sejalan dengan respons terbatas yang telah diberikan X atas situasi ini. Dalam sebuah postingan dari X Safety, perusahaan menyatakan, “Siapa pun yang menggunakan atau memerintah Grok untuk membuat konten ilegal akan mendapatkan konsekuensi yang sama seperti jika mereka mengunggah konten ilegal,” tetapi tidak mengambil tanggung jawab atas kemungkinannya. Terlepas dari itu, Musk juga secara mengejek memposting ulang konten yang dibuat sebagai bagian dari tren tersebut, termasuk gambar AI dari pemanggang roti dan roket dalam bikini.
California adalah negara bagian pertama di Amerika Serikat yang meluncurkan penyelidikan atas situasi ini. Otoritas di negara lain, termasuk Prancis, Irlandia, Britania Raya, dan India, telah mulai menyelidiki gambar-gambar seksual tanpa persetujuan yang dihasilkan Grok dan mungkin juga akan menuntut X dan xAI. Undang-Undang Take It Down, yang disahkan tahun lalu, tidak mewajibkan platform seperti X untuk membuat sistem pemberitahuan dan penghapusan untuk gambar tanpa persetujuan hingga 19 Mei 2026.