Baru-baru ini, sistem keamanan otomatis Discord tanpa sengaja memblokir lebih dari 8.000 pengguna karena mereka mengunggah gambar seperti papan catur atau inventaris Minecraft. Masalah ini terjadi karena bug dalam sistem yang seharusnya meninjau laporan secara manual sebelum memblokir akun, tetapi bug tersebut membuat banyak pengguna tetap diblokir tanpa pemeriksaan manusia.
Menurut laporan dari The Verge, masalah ini sudah terjadi sejak Mei lalu tetapi baru diketahui setelah sekitar 200 pengguna diblokir dalam satu akhir pekan karena gambar berpola kotak-kotak. Seorang pengguna mengaku akunnya diblokir permanen karena dianggap mengunggah konten seksual anak, padahal ia hanya membagikan tangkapan layar dari game Minecraft.
Discord kemudian menjelaskan bahwa sistem otomatis mereka bekerja dengan mencocokkan gambar dengan data konten berbahaya. Seharusnya tim keamanan Discord meninjau laporan ini sebelum mengambil tindakan. Namun karena bug, ribuan pengguna tidak mendapatkan review manual dan langsung terkena blokir. Semua yang terkena dampak sudah dikembalikan akunnya.
Menariknya, Discord tampaknya menghindari menyebut sistem ini sebagai “kecerdasan buatan” atau AI, meskipun banyak pengguna yang mengeluh menganggapnya AI. Padahal, Discord sebelumnya sudah menjelaskan bahwa mereka menggunakan pembelajaran mesin untuk mendeteksi konten berbahaya dan AI untuk membantu moderasi.
Discord bukan satu-satunya platform yang mengalami masalah moderasi otomatis ini. Tahun lalu, Instagram dan Facebook juga mendapat banyak keluhan karena ribuan akun diblokir tanpa alasan jelas, yang diduga berasal dari sistem AI mereka. TikTok juga semakin banyak menggunakan filter otomatis untuk memblokir konten dan bahkan mulai mengurangi jumlah moderator manusia. Artinya, kita perlu bersiap untuk lebih sering berdebat dengan robot.