Melalui tengah-tengah pemilihan berisiko tinggi yang diselenggarakan selama gelombang panas yang membuat pikiran meleleh, sebuah badai deepfakes yang membingungkan menerpa India. Varietasnya tampak tak berujung: tiruan yang didukung kecerdasan buatan, ventriloquy, dan efek editing yang menipu. Sebagian dari itu kasar, sebagian lucu, sebagian begitu jelas palsu sehingga tidak pernah diharapkan sebagai nyata.
Efek keseluruhan membingungkan, menambahkan ke lanskap media sosial yang sudah dipenuhi dengan informasi yang salah. Volume sampah online terlalu besar bagi komisi pemilihan mana pun untuk melacaknya, apalagi membantahnya.
Sebuah kelompok beragam dari lembaga pemeriksa fakta vigilan telah muncul untuk mengisi kekosongan. Sementara roda hukum bergulir lambat dan tidak merata, tugas melacak deepfakes telah diambil alih oleh ratusan pekerja pemerintah dan kelompok pemeriksa fakta swasta yang berbasis di India.
“Kita harus siap,” kata Surya Sen, seorang petugas kehutanan di negara bagian Karnataka yang telah dipindahkan selama pemilihan untuk mengelola sebuah tim berjumlah 70 orang yang mencari konten yang menipu yang dihasilkan oleh kecerdasan buatan. “Media sosial adalah medan perang tahun ini.” Ketika tim Mr. Sen menemukan konten yang mereka yakini ilegal, mereka memberi tahu platform media sosial untuk menurunkannya, mempublikasikan penipuan atau bahkan meminta agar tuduhan pidana diajukan.
Selebriti telah menjadi bahan umpan yang akrab untuk trik politik, termasuk Ranveer Singh, seorang bintang di sinema Hindi.
Selama wawancara video dengan sebuah agensi berita India di Sungai Ganges di Varanasi, Mr. Singh memuji perdana menteri yang berkuasa, Narendra Modi, karena merayakan “warisan budaya kita yang kaya.” Tapi itu bukanlah yang didengar penonton ketika versi video yang diubah, dengan suara yang terdengar seperti milik Mr. Singh dan sinkronisasi bibir yang hampir sempurna, menyebar di media sosial.
“Kami menyebut ini deepfakes lip-sync,” kata Pamposh Raina, yang memimpin Unit Analisis Deepfakes, sebuah kolektif dari rumah media India yang membuka jalur tips di WhatsApp di mana orang dapat mengirim video dan audio yang mencurigakan untuk diperiksa. Dia mengatakan video Mr. Singh adalah contoh khas dari rekaman autentik yang disunting dengan suara yang disalin kecerdasan buatan. Aktor tersebut mengajukan keluhan ke Unit Kejahatan Siber Polisi Mumbai.
Dalam pemilihan ini, tidak ada partai yang memiliki monopoli konten menipu. Klip yang dimanipulasi lainnya dibuka dengan rekaman otentik yang menunjukkan Rahul Gandhi, lawan terkemuka Mr. Modi, berpartisipasi dalam ritual sehari-hari mengambil sumpah sebagai kandidat. Kemudian itu dilapis dengan trek audio yang dihasilkan oleh kecerdasan buatan.
Mr. Gandhi sebenarnya tidak mengundurkan diri dari partainya. Klip ini juga mengandung sindiran pribadi, membuat Mr. Gandhi terlihat mengatakan bahwa dia “tidak lagi bisa berpura-pura menjadi Hindu.” Partai Bharatiya Janata yang berkuasa mempersembahkan diri sebagai pembela agama Hindu, dan lawannya sebagai pengkhianat atau penipu.
Terkadang, deepfakes politik berbelok ke arah supernatural. Politikus yang sudah meninggal memiliki cara untuk kembali ke kehidupan melalui kemiripan yang aneh, yang dihasilkan oleh kecerdasan buatan, yang mendukung kampanye nyata keturunannya.
Dalam sebuah video yang muncul beberapa hari sebelum pemungutan suara dimulai pada April, seorang H. Vasanthakumar yang dibangkitkan kembali, yang meninggal karena Covid-19 pada tahun 2020, berbicara secara tidak langsung tentang kematiannya sendiri dan memberkahi putranya Vijay, yang mencalonkan diri untuk kursi parlemen ayahnya di negara bagian selatan Tamil Nadu. Penampakan ini mengikuti contoh yang ditetapkan oleh dua titan politik Tamil yang sudah meninggal, Muthuvel Karunanidhi dan Jayalalithaa Jayaram.
Pemerintahan Mr. Modi telah merancang undang-undang yang seharusnya melindungi warga India dari deepfakes dan jenis konten yang menyesatkan lainnya. Undang-undang “Aturan IT” tahun 2021 membuat platform online, tidak seperti di Amerika Serikat, bertanggung jawab atas semua jenis konten yang tidak diinginkan, termasuk kecerdasan buatan yang dimaksudkan untuk menimbulkan penghinaan. Internet Freedom Foundation, sebuah kelompok hak digital India, yang telah berpendapat bahwa kekuatan ini terlalu luas, melacak 17 tantangan hukum terhadap undang-undang tersebut.
Tapi perdana menteri sendiri tampak menerima beberapa jenis konten yang dihasilkan oleh kecerdasan buatan. Sebuah pasang video yang diproduksi dengan alat kecerdasan buatan menunjukkan dua politisi terbesar India, Mr. Modi dan Mamata Banerjee, salah satu lawan terberatnya, meniru video YouTube viral dari rapper Amerika Lil Yachty yang melakukan “jalan keluar PALING SULIT PERNAH.”
Mr. Modi membagikan video tersebut di X, mengatakan bahwa kreativitas seperti itu “sangat menyenangkan.” Pejabat pemilihan seperti Mr. Sen di Karnataka menyebutnya sebagai satire politik: “Seorang bintang rock Modi baik-baik saja dan bukan pelanggaran. Orang tahu ini palsu.”
Polisi di Bengal Barat, di mana Ms. Banerjee adalah ketua menteri, mengirimkan pemberitahuan kepada beberapa orang karena memposting konten “menyinggung, jahat, dan memprovokasi.”
Dalam pencarian deepfakes, Mr. Sen mengatakan timnya di Karnataka, yang bekerja untuk pemerintah negara bagian yang dikuasai oleh oposisi, dengan cermat menggulir platform media sosial seperti Instagram dan X, mencari kata kunci dan secara berulang kali menyegarkan akun influencer populer.
Unit Analisis Deepfakes memiliki 12 mitra pemeriksa fakta di media, termasuk beberapa yang dekat dengan pemerintahan nasional Mr. Modi. Ms. Raina mengatakan unitnya bekerja dengan laboratorium forensik eksternal, termasuk salah satunya di University of California, Berkeley. Mereka menggunakan perangkat lunak deteksi kecerdasan buatan seperti TrueMedia, yang memindai file media dan menentukan apakah mereka harus dipercayai.
Beberapa insinyur yang cakap dalam teknologi sedang menyempurnakan perangkat lunak forensik kecerdasan buatan untuk mengidentifikasi bagian mana dari video yang dimanipulasi, sampai ke piksel individu.
Pratik Sinha, pendiri Alt News, situs pemeriksa fakta independen paling terhormat di India, mengatakan bahwa kemungkinan deepfakes belum sepenuhnya dimanfaatkan. Suatu hari nanti, katanya, video bisa menunjukkan politikus bukan hanya mengucapkan hal-hal yang tidak mereka katakan tetapi juga melakukan hal-hal yang tidak mereka lakukan.
Dr. Hany Farid telah mengajar forensik digital di Berkeley selama 25 tahun dan berkolaborasi dengan Unit Analisis Deepfakes dalam beberapa kasus. Dia mengatakan bahwa sementara “kita menangkap deepfakes buruk,” jika deepfakes yang lebih canggih memasuki arena, mereka mungkin tidak terdeteksi.
Di India seperti di tempat lain, perlombaan senjata sedang berlangsung, antara deepfakers dan pemeriksa fakta – bertarung dari semua sisi. Dr. Farid menggambarkan ini sebagai “tahun pertama saya akan mengatakan kita benar-benar mulai melihat dampak kecerdasan buatan dengan cara yang menarik dan lebih jahat.”