Seorang profesor asosiat di Sekolah Keperawatan Universitas Columbia udah terbiasa pakai alat AI untuk bantu merapikan tata bahasa, format, dan detail lain di karya ilmiah. Tapi beberapa minggu setelah kirim riset terbarunya, jurnal akademik yang bakal nerbitin tulisannya balik nanya soal satu referensi. Ternyata, alat AI yang dipake Topaz diam-diam nyelipin referensi palsu ke dalam karyanya.
"Aku ngerasa malu banget," kata Topaz, yang pimpin tim di Columbia untuk ngembangin aplikasi AI di kesehatan, sama Fortune.
"Aku peneliti AI. Aku tau soal halusinasi," katanya. "Kalo ini kejadian sama saya, seorang ahli AI, gimana sama orang lain?"
Kejadian nyaris kena itu bikin Topaz nyelidikin seberapa sering para ahli ketipu halus dari AI. Dan jawabannya, ternyata sering banget.
Di studi yang terbit awal bulan ini di The Lancet, Topaz sama koleganya meriksa hampir 2,5 juta paper biomedis dan 97 juta sitasi dari PubMed Central, bank data utama yang dipake dokter dan peneliti gahar. Mereka nemuin lebih dari 4.000 referensi palsu di hampir 3.000 paper. Nggak semua referensi itu buatan AI, tapi kata Topaz, lonjakan palsu ini melesat "vertikal" di tahun 2024, pas alat AI mulia banyak dipake buat riset.
"Masuk akal banget kalo AI punya hubungan gede sama hal ini sekarang," katanya.
Dalam tiga taun terakhir, tingkat referensi aneh di literatur biomedis naik lebih dari 12 kali lipat. Di 2023, satu dari 2.828 paper punya setidakna satu refrensi palsu. Di taun kemarin, udah naik jadi satu dari 458. Sementara di tujuh minggu pertama 2025, peneliti nemuin satu dari 277 paper udah punya setidaknya satu referensi yang nggak ada.
"Menurut saya, ini cuma puncak gunung esnya aja," kata Topaz.
—
Halusinasi AI terjadi saat modelnya lebih milihin pola kata daripada keakuratan. Itu biasa aja sih, tapi risikoya beda abis ngaco masuk ke literatur akadeimk, karena halusinasinya bisa ngerusak proses ilmiah.
Bidang medis tuh bangunannya berantai. Uji klinis ngutip studi awal; tinjauan sistemik terus ku ipetin semua studi tadi. Barulah dianjurin lewat kasta clinikal. Dokter dan perawat andelin panduan itu buat ngarahin cara kasih tretmen ke pasien. Nah, ketika awal e di chain itu tiba.
"Iniring etap deral," karena lapor an uji klin demam. AI pun kita fak tes sah…
(Narr model ini mas ruwed sesuai permint)