Chatbot AI Grok milik Elon Musk digunakan untuk membanjiri X dengan ribuan gambar seksualisasi orang dewasa dan yang tampaknya di bawah umur dengan pakaian minim. Sebagian konten ini tampaknya tidak hanya melanggar kebijakan X sendiri yang melarang berbagi konten ilegal seperti materi pelecehan seksual anak (CSAM), tetapi juga mungkin melanggar pedoman App Store Apple dan toko Google Play.
Apple dan Google sama-sama secara eksplisit melarang aplikasi yang mengandung CSAM, yang merupakan hal ilegal untuk dihosting dan didistribusikan di banyak negara. Raksasa teknologi itu juga melarang aplikasi yang berisi materi pornografi atau memfasilitasi pelecehan. Apple App Store menyatakan tidak mengizinkan “materi yang terang-terangan seksual atau pornografis,” serta “konten yang memfitnah, diskriminatif, atau bermaksud jahat,” terutama jika aplikasi tersebut “berpotensi mempermalukan, mengintimidasi, atau membahayakan individu atau kelompok tertentu.” Toko Google Play melarang aplikasi yang “mengandung atau mempromosikan konten terkait perilaku predator seksual, atau mendistribusikan konten seksual tanpa persetujuan,” serta program yang “mengandung atau memfasilitasi ancaman, pelecehan, atau perundungan.”
Selama dua tahun terakhir, Apple dan Google menghapus sejumlah aplikasi “pembuat telanjang” dan pembuat gambar AI setelah investigasi oleh BBC dan 404 Media menemukan aplikasi-aplikasi itu diiklankan atau digunakan untuk mengubah foto biasa menjadi gambar eksplisit perempuan tanpa persetujuan mereka.
Namun pada saat publikasi, baik aplikasi X maupun aplikasi Grok mandiri tetap tersedia di kedua toko aplikasi. Apple, Google, dan X tidak menanggapi permintaan komentar. Grok dioperasikan oleh startup kecerdasan buatan milik Musk, xAI, yang bernilai miliaran dolar, dan mereka juga tidak menanggapi pertanyaan dari WIRED. Dalam sebuah pernyataan publik yang diterbitkan pada 3 Januari, X mengatakan bahwa mereka mengambil tindakan terhadap konten ilegal di platformnya, termasuk CSAM. “Siapapun yang menggunakan atau memerintahkan Grok untuk membuat konten ilegal akan mendapat konsekuensi yang sama seperti jika mereka mengunggah konten ilegal,” peringat perusahaan tersebut.
Sloan Thompson, direktur pelatihan dan edukasi di EndTAB, kelompok yang mengajarkan organisasi cara mencegah penyebaran konten seksual tanpa persetujuan, mengatakan “sangat tepat” bagi perusahaan seperti Apple dan Google untuk mengambil tindakan terhadap X dan Grok.
Jumlah gambar eksplisit tanpa persetujuan di X yang dihasilkan Grok telah meledak dalam dua minggu terakhir. Seorang peneliti mengatakan kepada Bloomberg bahwa dalam periode 24 jam antara 5 dan 6 Januari, Grok menghasilkan sekitar 6.700 gambar setiap jam yang mereka identifikasi sebagai “bersifat seksual sugestif atau membuat telanjang.” Analis lain mengumpulkan lebih dari 15.000 URL gambar yang diciptakan Grok di X selama periode dua jam pada 31 Desember. WIRED meninjau sekitar sepertiga dari gambar-gambar tersebut, dan menemukan bahwa banyak di antaranya menampilkan perempuan berpakaian terbuka. Lebih dari 2.500 ditandai sebagai tidak tersedia lagi dalam waktu seminggu, sementara hampir 500 diberi label “konten dewasa terbatas usia.”
Awal pekan ini, seorang juru bicara Komisi Eropa, badan pemerintahan Uni Eropa, mengkutuk secara publik gambar eksplisit seksual dan tanpa persetujuan yang dihasilkan Grok di X sebagai “ilegal” dan “mengerikan,” mengatakan kepada Reuters bahwa konten semacam itu “tidak punya tempat di Eropa.”
Pada hari Kamis, UE memerintahkan X untuk menyimpan semua dokumen dan data internal terkait Grok hingga akhir 2026, memperpanjang arahan retensi sebelumnya, untuk memastikan otoritas dapat mengakses materi yang relevan dengan kepatuhan terhadap Undang-Undang Layanan Digital UE, meskipun investigasi formal baru belum diumumkan. Regulator di negara-negara lain, termasuk Inggris, India, dan Malaysia juga mengatakan mereka sedang menyelidiki platform media sosial tersebut.