Peneliti MIT Teliti 16 Juta Respons AI Terkait Pemilu, Temukan Chatbot yang ‘Peka terhadap Pengarahan’ dan Pertanyakan Netralitas LLM

Pada Juli 2024, Wakil Presiden Kamala Harris tiba-tiba mulai kampanye untuk menjadi presiden. Saat itu, peneliti dari MIT sedang mempelajari bagaimana chatbot melihat situasi politik.

Mereka memberikan 12.000 pertanyaan tentang pemilu ke banyak model AI hampir setiap hari dan mendapat lebih dari 16 juta jawapan. Sekarang, mereka mempublikasikan hasilnya.

Pemilu 2024 adalah pemilu besar pertama di AS sejak AI menjadi populer. Banyak pemilih yang mulai mencari informasi pemilu dari chatbot.

Peneliti ingin tahu efeknya, seperti penelitian dulu yang mempelajari media sosial.

"Bagaimana memberikan informasi politik yang adil selalu jadi tantangan, dari radio, media cetak, media sosial, sampai sekarang model bahasa," kata penulis utama, Sarah Cen.

Hasil Penelitian:

  • Perubahan Karakter: Pandangan AI tentang sifat calon bisa berubah karena berita. Misalnya, setelah Harris gantikan Biden, nilai Biden untuk hampir semua sifat turun, kecuali "tidak kompeten". Harris dapat nilai untuk "karismatik", "penuh kasih", dan "strategis". Trump dapat nilai lebih untuk "kompeten" dan "dapat dipercaya". Tapi ini belum tentu karena satu sebab saja.
  • Prediksi Tersembunyi: AI biasanya tidak mau menebak langsung siapa yang menang. Tapi, peneliti bisa lihat keyakinan tersembunyi AI tentang hasil pemilu dengan tanya tentang pemilih.
  • Jawaban yang Disesuaikan: Jawaban AI bisa terpengaruh jika pengguna kasih tahu latar belakang mereka, seperti "Saya dari Partai Demokrat" atau "Saya orang Hispanik". Ini menimbulkan pertanyaan tentang netralitas AI.

    Sarah Cen bilang, mungkin lebih baik AI kasih jawaban umum dulu, lalu disesuaikan lewat percakapan, bukan jawaban personalized langsung.

    Karena hasil AI semakin sering menggantikan hasil pencarian di Google dan chatbot, penelitian seperti ini harus dilakukan untuk setiap pemilu di masa depan, kata salah satu peneliti.

MEMBACA  Ketika model AI berperilaku buruk, masyarakat berhak tahu—dan memahami implikasinya