Sejauh ini, bahkan perusahaan AI mengalami kesulitan dalam menciptakan alat yang dapat secara dapat diandalkan mendeteksi kapan suatu tulisan dibuat menggunakan model bahasa besar. Sekarang, sekelompok peneliti telah menemukan metode baru untuk memperkirakan penggunaan LLM di sejumlah besar penulisan ilmiah dengan mengukur kata-kata “berlebih” yang mulai muncul jauh lebih sering selama era LLM (yaitu, pada tahun 2023 dan 2024). Hasilnya “menunjukkan bahwa setidaknya 10 persen abstrak tahun 2024 diproses dengan LLM,” menurut para peneliti.
Dalam sebuah makalah pra-cetak yang diposting bulan ini, empat peneliti dari University of Tübingen Jerman dan Northwestern University mengatakan bahwa mereka terinspirasi oleh studi yang mengukur dampak pandemi Covid-19 dengan melihat jumlah kematian berlebih dibandingkan dengan masa lalu baru-baru ini. Dengan melihat “penggunaan kata-kata berlebih” setelah alat penulisan LLM menjadi tersedia luas pada akhir 2022, para peneliti menemukan bahwa “penampilan LLM menyebabkan peningkatan tiba-tiba dalam frekuensi kata gaya tertentu” yang “belum pernah terjadi sebelumnya baik dalam kualitas maupun kuantitas.”
Untuk mengukur perubahan kosakata ini, para peneliti menganalisis 14 juta abstrak makalah yang dipublikasikan di PubMed antara 2010 dan 2024, melacak frekuensi relatif setiap kata saat muncul setiap tahun. Mereka kemudian membandingkan frekuensi yang diharapkan dari kata-kata tersebut (berdasarkan garis tren sebelum 2023) dengan frekuensi sebenarnya dari kata-kata tersebut dalam abstrak tahun 2023 dan 2024, ketika LLM digunakan secara luas.
Hasilnya menemukan sejumlah kata yang sangat jarang muncul dalam abstrak ilmiah sebelum 2023 tiba-tiba meningkat popularitasnya setelah LLM diperkenalkan. Kata “menyelidiki,” misalnya, muncul dalam 25 kali lebih banyak pada makalah 2024 daripada tren sebelum LLM akan mengharapkan; kata-kata seperti “menampilkan” dan “menggarisbawahi” juga meningkat penggunaannya sembilan kali lipat. Kata-kata yang sebelumnya umum menjadi jauh lebih umum dalam abstrak pasca-LLM: Frekuensi “potensial” meningkat 4,1 poin persentase, “temuan” sebesar 2,7 poin persentase, dan “penting” sebesar 2,6 poin persentase, misalnya.
Perubahan dalam penggunaan kata seperti ini bisa terjadi secara independen dari penggunaan LLM, tentu saja—evolusi alami bahasa berarti kata-kata kadang-kadang menjadi populer atau tidak lagi populer. Namun, para peneliti menemukan bahwa, dalam era sebelum LLM, peningkatan tahunan yang besar dan tiba-tiba hanya terjadi untuk kata-kata yang terkait dengan peristiwa kesehatan dunia besar: “ebola” pada 2015; “zika” pada 2017; dan kata-kata seperti “coronavirus,” “lockdown,” dan “pandemi” pada periode 2020 hingga 2022.
Namun, pada periode pasca-LLM, para peneliti menemukan ratusan kata dengan peningkatan yang tiba-tiba dan signifikan dalam penggunaan ilmiah yang tidak memiliki kaitan umum dengan peristiwa dunia. Faktanya, sementara kata-kata berlebih selama pandemi Covid kebanyakan adalah kata benda, para peneliti menemukan bahwa kata-kata dengan lonjakan frekuensi pasca-LLM kebanyakan adalah “kata gaya” seperti kata kerja, kata sifat, dan kata keterangan (sebagian kecil: “melintasi, tambahan, komprehensif, penting, meningkatkan, memamerkan, wawasan, terutama, khusus, dalam”).
Ini bukan temuan yang benar-benar baru—peningkatan penggunaan “menyelidiki” dalam makalah ilmiah telah banyak dicatat dalam masa lalu, misalnya. Tetapi studi sebelumnya umumnya mengandalkan perbandingan dengan sampel penulisan manusia “kebenaran baku” atau daftar penanda LLM yang telah ditentukan sebelumnya yang diperoleh dari luar studi. Di sini, kumpulan abstrak sebelum 2023 bertindak sebagai kelompok kontrol yang efektif untuk menunjukkan bagaimana pilihan kosakata telah berubah secara keseluruhan di era pasca-LLM.
Dengan menyoroti ratusan “kata penanda” yang menjadi jauh lebih umum dalam era pasca-LLM, tanda-tanda penggunaan LLM kadang-kadang bisa mudah terlihat. Ambil contoh baris abstrak yang disorot oleh para peneliti, dengan kata-kata penanda disorot: “Pemahaman komprehensif tentang interaksi rumit antara […] dan […] sangat penting untuk strategi terapeutik yang efektif.”
Setelah melakukan beberapa pengukuran statistik tentang kemunculan kata penanda di setiap makalah, para peneliti memperkirakan bahwa setidaknya 10 persen makalah pasca-2022 di korpus PubMed ditulis dengan setidaknya sedikit bantuan dari LLM. Jumlahnya bahkan bisa lebih tinggi, kata para peneliti, karena kumpulan mereka mungkin melewatkan abstrak yang dibantu LLM yang tidak termasuk salah satu kata penanda yang mereka identifikasi.