Agar aplikasi yang Anda bangun dapat diunduh dari Apple App Store atau Google Play Store, aplikasi tersebut harus memenuhi sejumlah kriteria, termasuk standar keamanan.
Namun, sebuah laporan baru pada Rabu menuduh bahwa Apple dan Google melanggar aturan mereka sendiri dengan mempromosikan aplikasi “nudify” yang sebenarnya dilarang dalam kebijakan toko aplikasi mereka.
Tech Transparency Project, bagian dari lembaga pengawas teknologi nirlaba, pertama kali mengungkap pada Januari bahwa Apple dan Google App Store memiliki lebih dari 100 aplikasi nudify atau ‘membuka pakaian’. Aplikasi-aplikasi ini bertujuan tunggal untuk mengambil gambar orang, biasanya perempuan, dan mengeditnya agar terlihat seperti orang tersebut tanpa busana, menciptakan apa yang disebut citra intim non-konsensual. Banyak dari aplikasi ini menggunakan AI generatif untuk membuat deepfake.
Apple menghapus beberapa aplikasi terlarang tersebut pada saat itu. Tetapi banyak yang masih beredar, sebagaimana terbukti dalam penyelidikan lanjutan.
Pada April, TTP menemukan bahwa Apple dan Google masih mengizinkan pengguna untuk mencari sejumlah kata kunci yang bermasalah, termasuk “nudify,” “undress,” dan “deepnude.” Setelah menyelami 10 aplikasi teratas di kedua toko aplikasi, TTP menemukan bahwa 40% aplikasi mengiklankan diri mereka mampu ‘membuat perempuan telanjang atau berpakaian minim,’ menurut laporan tersebut.
Laporan baru ini juga menemukan bahwa Google dan Apple justru mempromosikan aplikasi semacam itu di toko mereka, meningkatkan visibilitasnya, dengan Google khususnya membuat “sebuah karusel iklan untuk beberapa aplikasi paling eksplisit secara seksual yang ditemukan dalam penyelidikan.”
Baca Selengkapnya: Bagaimana Melindungi Anak di Dunia Maya? Eropa Percaya Aplikasi Verifikasi Usia Mereka adalah Jawabannya
Apple dan Google keduanya memiliki bahasa dalam kebijakan mereka yang melarang aplikasi dengan “materi seksual atau pornografi yang terang-terangan” (Apple) dan “pose yang bersifat sugestif seksual di mana subjek telanjang, buram, atau berpakaian minim” (Google). Dan mereka berdua telah menegakkan kebijakan ini di masa lalu—khususnya dengan menindak aplikasi pornografi.
Tetapi Apple dan Google menghasilkan uang dari pengembang aplikasi dengan menjalankan iklan dan mengambil bagian dari langganan aplikasi berbayar. Firma analitik AppMagic menemukan bahwa aplikasi “nudify” ini telah diunduh 483 juta kali dan menghasilkan lebih dari $122 juta dalam pendapatan seumur hidup.
“Aliran pendapatan ini mungkin menjadi alasan mengapa kedua perusahaan ini kurang waspada dalam menangani aplikasi nudify yang melanggar kebijakan mereka,” tulis TTP.
Google mengatakan kepada CNET bahwa Google Play tidak mengizinkan aplikasi yang berisi konten seksual, dan bahwa banyak aplikasi yang dirujuk dalam laporan telah ditangguhkan karena melanggar kebijakan mereka.
Apple mengatakan kepada CNET bahwa mereka telah menghapus 15 aplikasi yang ditandai dalam laporan dan telah menghubungi enam pengembang aplikasi lainnya, memberi tahu bahwa mereka perlu menangani masalah atau berisiko dihapus dari toko. Mereka juga memblokir beberapa istilah pencarian tambahan yang ditandai oleh TTP.
Konten grafis seksual non-konsensual adalah masalah yang semakin berkembang, sebagian karena AI. Kita melihat dengan jelas bagaimana aplikasi dengan AI dapat digunakan untuk membuat konten ilegal dan kasar ini di awal tahun, ketika pengguna Grok membuat 1,4 juta deepfake seksual dalam periode sembilan hari.
Beberapa senator AS pada waktu itu menyerukan Apple dan Google untuk menghapus Grok dari toko aplikasi mereka, tetapi keduanya tidak melakukannya.
Kami mengetahui minggu ini bahwa Apple secara pribadi menghubungi Grok untuk menyampaikan kekhawatirannya tentang kemampuan AI yang kasar dan mengancam akan menghapusnya. Grok masih tersedia di Apple dan Google App Store dan dilaporkan masih mampu membuat gambar seksual AI yang kasar, meskipun perusahaan mengatakan sebaliknya.