Kristina Völk
BBC News
Kevin Nguyen
BBC Verify
Sebuah jaringan internasional para spammer tengah memposting gambar-gambar korban Holocaust yang dihasilkan oleh kecerdasan artifisial (AI) di Facebook, temuan investigasi BBC terkait “sampah AI”.
Organisasi-organisasi yang didedikasikan untuk melestarikan memori Holocaust menyatakan gambar-gambar tersebut menyebabkan kesusahan bagi para penyintas dan keluarga.
Mereka juga mengkritik perusahaan induk Facebook, Meta, dengan menyebutkan bahwa platformnya mengizinkan pengguna mengubah kekejaman tersebut menjadi sebuah “permainan emosional”.
Hanya terdapat segelintir foto asli dari dalam kamp konsentrasi Auschwitz selama Perang Dunia Kedua.
Namun, dalam beberapa bulan terakhir, para spammer AI telah memposting gambar-gambar palsu yang diklaim berasal dari dalam kamp, seperti seorang tahanan yang bermain biola atau sepasang kekasih yang bertemu di perbatasan pagar – yang menarik puluhan ribu suka dan bagikan.
“Di sini kita melihat seseorang mengarang cerita… untuk semacam permainan emosional aneh yang terjadi di media sosial,” ujar Pawel Sawicki, seorang juru bicara Memorial Auschwitz di Polandia.
“Ini bukan permainan. Ini adalah dunia nyata, penderitaan nyata, dan orang-orang nyata yang ingin dan perlu kita peringati.”
Pawel Sawicki menyatakan Memorial Auschwitz telah menyampaikan kekhawatirannya mengenai gambar-gambar AI bertema Holocaust langsung kepada Meta.
BBC telah melacak banyak gambar ini ke akun-akun dari jaringan kreator konten yang berbasis di Pakistan yang berkolaborasi erat tentang cara menghasilkan uang di Facebook. Mereka memanfaatkan program monetisasi konten (CM) Meta, sebuah sistem “hanya dengan undangan” yang membayar pengguna untuk konten dan views yang berkinerja tinggi.
Satu akun bernama Abdul Mughees, yang tercatat tinggal di Pakistan, memposting tangkapan layar yang mengklaim telah memperoleh $20.000 melalui skema monetisasi media sosial, termasuk milik Meta. Postingan lain tampaknya menunjukkan akun tersebut mengumpulkan lebih dari 1,2 miliar views pada konten dalam rentang empat bulan.
Kami belum dapat memverifikasi secara independen pendapatan para kreator tersebut.
Di antara banyak postingan Facebook dari akun Abdul Mughees terdapat beberapa foto fiktif korban Holocaust hasil AI dan cerita-cerita palsu yang menyertakan seorang anak yang bersembunyi di bawah papan lantai atau seorang bayi yang ditinggalkan di rel kereta api di luar kamp konsentrasi.
Analisis BBC terhadap aktivitas daring akun tersebut dan puluhan akun serupa menunjukkan bahwa mereka hampir secara eksklusif memposting “sampah AI”.
Istilah ini mengacu pada gambar dan teks berkualitas rendah yang dihasilkan AI, biasanya diproduksi dalam volume besar dan disebarkan secara spam di media sosial.
Auschwitz telah menjadi topik populer bagi laman dan grup bertema sejarah. Beberapa dengan nama seperti “Timeless Tales” dan “History Haven” memposting lebih dari 50 kali sehari.
Pada Juni lalu, Museum Auschwitz memperingatkan bahwa akun-akun seperti ini mencuri postingan mereka, memprosesnya melalui model-model AI, dan seringkali memutarbalikkan detail sejarah atau sepenuhnya memalsukan narasi dan korban. Dalam sebuah postingan Facebook, Museum tersebut menyatakan gambar-gambar ini merupakan “distorsi berbahaya” yang “tidak menghormati korban dan melecehkan memori mereka”.
Gambar hasil AI yang diduga seorang korban Holocaust ini diposting di Facebook bersama sebuah cerita fiktif.
Bapak Sawicki mengatakan banjir gambar palsu tersebut merusak misi Memorial Auschwitz untuk meningkatkan kesadaran tentang Holocaust.
“Kami sudah mulai mendapatkan komentar pada postingan Facebook kami bahwa ‘oh, ini adalah foto hasil AI’,” katanya.
Para penyintas dan keluarga juga merasa terganggu dengan melonjaknya sampah AI Holocaust, menurut sebuah organisasi yang mempromosikan pendidikan dan penelitian Holocaust.
“Mereka tidak begitu memahami apa yang mereka lihat,” kata Dr. Robert Williams dari International Holocaust Remembrance Alliance.
Dia mengatakan para penyintas Holocaust merasakan “semacam kesedihan karena hal ini dibiarkan terjadi” meskipun ada investasi pemerintah dan filantropis ke dalam kampanye kesadaran.
“Mereka merasa upaya mereka belum cukup,” ujarnya.
“Itu hal yang sangat menyedihkan untuk dipertimbangkan karena para penyintas terakhir akan segera meninggalkan kita.”
Meta tidak sengaja mendorong pengguna untuk memposting cerita palsu, termasuk tentang Holocaust, tetapi sistemnya memberi penghargaan kepada postingan dengan keterlibatan tinggi. BBC juga menemukan akun-akun sampah AI yang berbasis di India, Vietnam, Thailand, dan Nigeria.
Untuk memahami mengapa jaringan-jaringan ini memproduksi massal jenis konten tertentu, BBC berbicara dengan seorang pria Pakistan, Fazal Rahman, yang terdaftar dalam beberapa skema monetisasi konten media sosial dan menyatakan pekerjaan ini telah menjadi satu-satunya sumber penghasilannya.
Meskipun dia menyatakan tidak membuat gambar Holocaust sendiri dan tidak mengetahui arti kata tersebut ketika pertama kali ditanya, dia beroperasi di grup Facebook yang sama dengan mereka yang melakukannya.
Bapak Rahman mengatakan sebuah laman Facebook dengan 300.000 pengikut dapat menghasilkan $1.000 USD per bulan untuk pemiliknya jika memiliki “konten premium” yang ditujukan untuk audiens bernilai lebih tinggi dari Inggris, AS, dan Eropa. Dia memperkirakan views dari Barat bernilai delapan kali lebih banyak per postingan daripada views dari Asia.
Dia mengatakan topik sejarah merupakan penggerak lalu lintas daring yang andal.
Kreator lain tampaknya setuju. BBC telah melihat video-video instruksional langkah demi langkah tentang bagaimana model AI populer dapat digunakan untuk menghasilkan gambar dan teks sejarah palsu yang berkelanjutan.
Dalam satu video, sang kreator meminta chatbot AI untuk membuat daftar peristiwa sejarah kunci yang dapat digunakan sebagai dasar pembuatan konten dan Holocaust diberikan sebagai salah satu jawabannya.
Saran lain yang diberikan oleh beberapa kreator termasuk tips tentang cara menipu audiens, dengan memiliki laman yang meniru entitas lain untuk membangun audiens dan menjadi memenuhi syarat untuk program CM Meta.
Facebook memiliki fitur transparansi laman, yang memungkinkan pengguna melacak nama-nama sebelumnya dari suatu laman. Menggunakan fitur ini, BBC menemukan banyak laman yang telah memposting sampah AI Holocaust yang dulunya meniru berbagai entitas berbeda termasuk departemen pemadam kebakaran resmi di AS, bisnis komersial, dan influencer Amerika – semua tanpa persetujuan mereka.
Laman-laman ini, menurut postingan publik para kreator, juga dapat dijual atau disewakan kepada mereka yang ingin masuk ke pasar kreator konten.
BBC menanyakan kepada Meta tentang beberapa profil yang telah memposting konten AI bertema Holocaust dan juga tampaknya terlibat dalam praktik penipuan.
Beberapa profil dan grup tersebut dihapus, termasuk yang awalnya ditandai oleh Memorial Auschwitz pada bulan Juni.
Seorang juru bicara untuk raksasa teknologi itu mengatakan bahwa meskipun gambar-gambar palsu tersebut tidak melanggar kebijakan kontennya, mereka menyelidikinya dan menemukan bahwa gambar-gambar itu melanggar aturan mereka seputar peniruan atau perdagangan laman.
“Kami telah menghapus Laman dan Grup yang dibagikan kepada kami dan menonaktifkan akun-akun di belakangnya karena melanggar kebijakan kami tentang spam dan perilaku tidak otentik,” kata mereka.
AI telah digunakan di masa lalu untuk memperingati Holocaust dan menghidupkan cerita korban nyata, tetapi Dr. Williams dari International Holocaust Remembrance Alliance memperingatkan ada risiko hal ini dapat berkontribusi pada perasaan bahwa sejarah Holocaust entah bagaimana dipalsukan.
“Bentuk manipulasi ekstrem apa pun adalah sesuatu yang harus kita hindari,” katanya.
Pelaporan tambahan oleh Umer Draz Nangiana, BBC Urdu