Awal tahun ini, Twitter dibanjiri oleh gambar-gambar telanjang non-konsensual dari berbagai orang, termasuk anak-anak, yang dihasilkan oleh Grok dari xAI. Ternyata, masalahnya tidak terbatas hanya pada Twitter. Menurut gugatan hukum yang diajukan Senin lalu di Distrik Utara California dan pertama kali dilaporkan oleh Washington Post, sekelompok remaja menggugat perusahaan AI milik Elon Musk dengan tuduhan bahwa seseorang menggunakan model xAI untuk membuat gambar dan video yang diseksualisasikan dari diri mereka. Kasus ini merupakan contoh pertama di mana kaum di bawah umur mengambil tindakan hukum terhadap perusahaan-perusahaan yang memungkinkan pembuatan materi seksual non-konsensual.
Gugatan class action ini—diajukan oleh tiga penggugat, termasuk dua anak di bawah umur—menyatakan bahwa xAI secara sadar merancang, memasarkan, dan mengambil untung dari penggunaan model pembuatan gambar dan videonya, yang dipakai untuk menciptakan materi eksplisit seksual dari individu-individu, termasuk lebih dari 18 remaja perempuan yang dilecehkan dalam kasus yang akhirnya membawa pada gugatan ini. Mereka juga menuduh bahwa xAI gagal menerapkan langkah-langkah pencegahan materi pelecehan seksual anak yang dianggap sebagai perlindungan standar industri.
Inti dari kasus melawan xAI ini adalah situasi yang sangat mencekam bagi para remaja perempuan tersebut, yang dilaporkan dilecehkan oleh seorang individu yang menghabiskan waktu berbulan-bulan untuk membuat dan menyebarkan gambar-gambar mereka yang diseksualisasikan. Pelaku, yang ditangkap pada bulan Desember setelah penyelidikan kepolisian, menurut Washington Post, disebutkan mengambil foto dan video dari akun media sosial para gadis itu dan menggunakannya untuk menghasilkan gambar telanjang serta eksplisit secara seksual. Gambar-gambar tersebut kemudian dijual dan diperdagangkan di berbagai komunitas di Discord dan Telegram, di mana gambar-gambar itu terus beredar. Beberapa dari remaja perempuan itu mengetahui keberadaan gambar-gambar tersebut setelah dihubungi melalui media sosial dan diberi tahu bahwa gambar mereka sedang disebarluaskan.
Saat polisi menangkap orang yang bertanggung jawab membuat gambar-gambar itu, mereka menentukan bahwa ia menggunakan Grok untuk menciptakannya. Grok juga digunakan untuk menghasilkan gambar-gambar seksual non-konsensual dari orang-orang di Twitter, diperkirakan sekitar 23.000 foto yang tampak menggambarkan anak-anak dalam situasi seksual, menurut para peneliti yang menyelidiki unggahan-unggahan tersebut.
Saat gambar-gambar itu menyebar di Twitter, CEO xAI (dan Twitter) Elon Musk, mengklaim, “Saya tidak mengetahui ada gambar telanjang di bawah umur yang dihasilkan Grok. Benar-benar nol,” dan mengatakan “Ketika diminta menghasilkan gambar, ia akan menolak untuk memproduksi apapun yang ilegal, karena prinsip operasional Grok adalah mematuhi hukum negara atau negara bagian mana pun.” Saat itu, Grok sedang digunakan untuk menggambarkan orang, termasuk anak-anak, dalam pakaian renang tanpa persetujuan mereka. Musk membuat sejumlah postingan mengikuti tren ini, termasuk gambar yang menggambarkan roket mengenakan bikini—seolah menyarankan bahwa ia mengetahui tren tersebut, terlepas dari apakah ia sadar bahwa tren itu diterapkan pada gambar anak-anak. Beberapa minggu kemudian, perusahaan mengumumkan akan menambahkan batasan pada pembuatan gambar dan menyebutkan orang-orang yang “berusaha menyalahgunakan akun Grok untuk melanggar hukum,” tetapi tidak secara langsung mengakui pembuatan CSAM (Child Sexual Abuse Material).
Musk dan xAI juga telah mempromosikan kemampuan Grok untuk digunakan dalam aktivitas eksplisit seksual melalui mode “Spicy”-nya, yang dapat digunakan untuk pembuatan teks, gambar, dan video. Gugatan class action tersebut menyatakan bahwa perusahaan dan CEO-nya lebih menyadari bagaimana alat ini digunakan daripada yang mereka akui, dengan klaim mereka “melihat peluang bisnis: kesempatan untuk mengambil untung dari pemangsaan seksual terhadap orang-orang nyata, termasuk anak-anak.”
xAI tidak menanggapi permintaan komentar terkait gugatan hukum tersebut.