Inisiatif Baru dari Retraction Watch Targetkan Penelitian Medis Palsu dengan Dana Hampir $1 Juta
Sebuah inisiatif baru dari para pengawas di balik Retraction Watch kini menargetkan penelitian sains medis yang cacat atau palsu dengan dana hampir $1 juta. [typo: "hampir" menjadi "hampir"]
Pusat Integritas Ilmiah baru saja meluncurkan Proyek Bukti Medis, sebuah upaya dua tahun untuk mengidentifikasi penelitian medis yang berdampak negatif pada panduan kesehatan—dan memastikan masyarakat benar-benar mengetahuinya.
Dilengkapi dana $900.000 dari Open Philanthropy dan tim inti hingga lima peneliti, proyek ini akan menggunakan alat forensic metascience untuk mengidentifikasi masalah dalam artikel ilmiah, lalu melapor temuan melalui Retraction Watch, situs utama pengawasan sains.
"Kami awalnya mendirikan Pusat Integritas Ilmiah sebagai wadah untuk Retraction Watch, tapi selalu berharap bisa berbuat lebih di ranah akuntabilitas penelitian," kata Ivan Oransky, direktur eksekutif Pusat dan pendiri Retraction Watch, dalam sebuah post yang mengumumkan dana tersebut. "Proyek Bukti Medis memungkinkan kami mendukung analisis kritis dan menyebarkannya."
Menurut Nature, dokumen cacat dan palsu ini mengganggu karena memengaruhi meta-analisis—kajian yang menggabungkan temuan berbagai studi untuk kesimpulan statistik lebih kuat. Jika satu atau dua studi palsu masuk ke meta-analisis, kebijakan kesehatan bisa terganggu.
Contohnya, pada 2009, panduan Eropa merekomendasikan beta-blockers untuk operasi non-jantung berdasarkan riset tahun 2000-an yang kemudian dipertanyakan. Bertahun kemudian, kajian independen menunjukkan panduan itu mungkin berkontribusi pada 10.000 kematian per tahun di Inggris.
Dipimpin James Heathers, konsultan integritas sains, tim ini akan membangun tools perangkat lunak, menindaklanjuti laporan whistleblower anonim, dan membayar peer reviewer untuk memeriksa ulang. Target mereka adalah mengidentifikasi minimal 10 meta-analisis cacat per tahun.
Tim ini memilih waktu dengan bijak. Seperti dilaporkan Gizmodo, junk science buatan AI membanjiri ekosistem digital akademik, muncul di konferensi hingga jurnal peer-review. Studi di Misinformation Review Harvard Kennedy School menemukan dua pertiga sampel makalah di Google Scholar mengandung tanda teks buatan GPT—bahkan di publikasi ilmiah arus utama. Sekitar 14,5% studi palsu itu fokus pada kesehatan.
Ini mengkhawatirkan karena Google Scholar tak membedakan studi peer-review dengan preprint, makalah mahasiswa, atau karya kurang ketat. Begitu masuk meta-analisis atau dikutip klinisi, konsekuensinya sulit diurai. "Jika kita tak bisa percaya riset yang kita baca asli," kata seorang peneliti, "kita berisiko buat keputusan dari info salah."
Kita sudah lihat bagaimana omong kosong bisa lolos. Pada 2021, Springer Nature menarik 40+ makalah dari Arabian Journal of Geosciences—begitu tidak koheren sampai seperti Mad Libs buatan AI. Tahun lalu, Frontiers harus tarik makalah berisi gambar AI tidak mungkin secara anatomi: alat kelamin tikus.
Kita masuk era fosil digital, di mana model AI yang dilatih data web-scraping mulai melestarikan dan menyebarkan frasa omong kosong seolah istilah ilmiah nyata. Misal, awal tahun ini, peneliti menemukan kata-katang kacau dari makalah biologi 1959 tertanam di output model bahasa besar seperti GPT-4o OpenAI.
Dalam iklim seperti ini, tujuan Proyek Bukti Medis lebih seperti triage daripada pembersihan. Tim ini menghadapi banjir informasi cacat yang tersembunyi di depan mata—banyak yang bisa berakibat serius bagi kesehatan jika diterima mentah-mentah.