Penelitian ilmiah yang dihasilkan oleh AI sedang mencemari ekosistem informasi akademis online, menurut laporan yang mengkhawatirkan yang diterbitkan di Misinformation Review dari Harvard Kennedy School. Sebuah tim peneliti menyelidiki seberapa sering artikel penelitian yang menunjukkan bukti teks yang dihasilkan secara artifisial ada di Google Scholar, mesin pencari akademis yang memudahkan pencarian penelitian yang diterbitkan secara historis dalam sejumlah jurnal akademis. Tim tersebut secara khusus menginterogasi penyalahgunaan transformer terlatih generatif (atau GPT), jenis model bahasa besar yang meliputi perangkat lunak yang kini familiar seperti ChatGPT dari OpenAI. Model-model ini mampu dengan cepat menginterpretasikan masukan teks dan menghasilkan tanggapan dengan cepat, dalam bentuk gambar, gambar, dan baris teks panjang. Dalam penelitian ini, tim menganalisis sampel makalah ilmiah yang ditemukan di Google Scholar dengan tanda-tanda penggunaan GPT. Makalah-makalah yang dipilih mengandung satu atau dua frasa umum yang dijadikan dasar oleh agen percakapan (umumnya, chatbot) yang didukung oleh LLM. Peneliti kemudian menyelidiki sejauh mana makalah-makalah yang meragukan itu didistribusikan dan dihosting di seluruh internet. “Risiko yang kami sebut ‘pembobolan bukti’ meningkat secara signifikan ketika penelitian yang dihasilkan oleh AI tersebar di mesin pencari,” kata Björn Ekström, seorang peneliti di Swedish School of Library and Information Science, dan co-author dari makalah tersebut, dalam rilis dari University of Borås. “Ini dapat memiliki konsekuensi nyata karena hasil yang salah dapat merembes lebih jauh ke dalam masyarakat dan mungkin juga ke dalam domain yang lebih banyak.” Cara Google Scholar menarik penelitian dari seluruh internet, menurut tim terbaru, tidak menyaring keluar makalah yang penulisnya tidak memiliki afiliasi ilmiah atau tinjauan sejawat; mesin tersebut akan menarik hasil tangkapan sekolah – makalah mahasiswa, laporan, pra-cetak, dan lainnya – bersama dengan penelitian yang telah lolos seleksi yang lebih ketat. Tim menemukan bahwa dua pertiga makalah yang mereka teliti setidaknya sebagian diproduksi melalui penggunaan GPT yang tidak diungkapkan. Dari makalah yang diproduksi oleh GPT, para peneliti menemukan bahwa 14,5% berkaitan dengan kesehatan, 19,5% berkaitan dengan lingkungan, dan 23% berkaitan dengan komputasi. “Sebagian besar makalah yang dihasilkan oleh GPT ini ditemukan di jurnal-jurnal non-indeks dan makalah kerja, tetapi beberapa kasus mencakup penelitian yang diterbitkan dalam jurnal ilmiah utama dan prosiding konferensi,” tulis tim tersebut. Para peneliti menguraikan dua risiko utama yang ditimbulkan oleh perkembangan ini. “Pertama, kelimpahan ‘studi’ yang dipalsukan yang merembes ke semua area infrastruktur penelitian dapat mengancam kelebihan sistem komunikasi ilmiah dan mengancam integritas catatan ilmiah. Risiko kedua terletak pada peningkatan kemungkinan bahwa konten yang terlihat ilmiah benar-benar dibuat dengan curang dengan alat AI dan juga dioptimalkan untuk diambil kembali oleh mesin pencari akademis yang tersedia secara publik, terutama Google Scholar.” Karena Google Scholar bukanlah basis data akademis, mudah bagi publik untuk menggunakannya saat mencari literatur ilmiah. Sayangnya, lebih sulit bagi anggota masyarakat untuk memisahkan mana yang baik dan mana yang buruk ketika datang ke jurnal yang terpercaya; bahkan perbedaan antara penelitian yang ditinjau sejawat dan makalah kerja dapat membingungkan. Selain itu, teks yang dihasilkan oleh AI ditemukan dalam beberapa karya yang ditinjau sejawat serta tulisan-tulisan yang kurang diperiksa, menunjukkan bahwa karya yang dipalsukan oleh GPT ini merusak informasi di seluruh sistem informasi akademis online – tidak hanya dalam pekerjaan yang ada di luar saluran resmi. “Jika kita tidak dapat mempercayai bahwa penelitian yang kita baca adalah asli, kita berisiko membuat keputusan berdasarkan informasi yang salah,” kata Jutta Haider, co-author penelitian tersebut, juga seorang peneliti di Swedish School of Library and Information Science, dalam rilis yang sama. “Tetapi sebanyak ini adalah pertanyaan tentang perilaku ilmiah, ini juga adalah pertanyaan tentang literasi media dan informasi.” Dalam beberapa tahun terakhir, penerbit gagal berhasil menyaring sejumlah artikel ilmiah yang sebenarnya nonsens total. Pada tahun 2021, Springer Nature terpaksa menarik lebih dari 40 makalah dalam Arabian Journal of Geosciences, yang meskipun judul jurnalnya membahas berbagai topik, termasuk olahraga, polusi udara, dan obat anak-anak. Selain tidak relevan, artikel-artikel tersebut ditulis dengan buruk – sampai pada titik tidak masuk akal – dan kalimat-kalimat seringkali tidak memiliki garis pemikiran yang jelas. Kecerdasan buatan memperparah masalahnya. Bulan Februari lalu, penerbit Frontiers mendapat sorotan karena menerbitkan makalah dalam jurnalnya Cell and Developmental Biology yang mencakup gambar-gambar yang dihasilkan oleh perangkat lunak AI Midjourney; khususnya, gambar-gambar jalur sinyal dan genitalia tikus yang sangat tidak anatomi. Frontiers menarik kembali makalah tersebut beberapa hari setelah publikasinya. Model AI bisa menjadi anugerah bagi ilmu pengetahuan; sistem-sistem tersebut dapat mendekode teks-teks rapuh dari Kekaisaran Romawi, menemukan Garis Nazca yang sebelumnya tidak diketahui, dan mengungkapkan detail tersembunyi dalam fosil dinosaurus. Tetapi dampak AI bisa sebagus itu atau seburuk itu seperti manusia yang menggunakannya. Jurnal yang ditinjau oleh sejawat – dan mungkin juga host dan mesin pencari untuk tulisan akademis – perlu pengaman untuk memastikan bahwa teknologi tersebut bekerja untuk kepentingan penemuan ilmiah, bukan melawannya.
