Pada tahun 2010, dua ekonom terkenal, Carmen Reinhart dan Kenneth Rogoff, merilis makalah yang mengkonfirmasi apa yang banyak politisi konservatif fiskal lama curigai: bahwa pertumbuhan ekonomi suatu negara akan merosot jika utang publik melampaui persentase tertentu dari GDP. Namun, ketika beberapa ekonom kurang dikenal memperbaiki kesalahan ini, bagian yang paling menarik dari hasil penelitian itu menghilang. Hubungan antara utang dan GDP masih ada, tapi efek dari utang tinggi lebih halus daripada apa yang diungkapkan dalam pidato Osborne.
Para ilmuwan—seperti kita semua—tidak kebal dari kesalahan. “Jelas bahwa kesalahan ada di mana-mana, dan sebagian kecil dari kesalahan ini akan mengubah kesimpulan dari makalah,” kata Malte Elson, seorang profesor di Universitas Bern di Swiss yang mempelajari, antara lain, metode penelitian. Masalahnya adalah tidak banyak orang yang mencari kesalahan tersebut. Kesalahan Reinhart dan Rogoff baru ditemukan pada tahun 2013 oleh seorang mahasiswa ekonomi yang profesornya meminta kelasnya untuk mencoba mereplikasi temuan dalam makalah ekonomi terkemuka.
Dengan para peneliti meta-sains lainnya Ruben Arslan dan Ian Hussey, Elson telah mendirikan cara untuk sistematis menemukan kesalahan dalam penelitian ilmiah. Proyek ini—disebut ERROR—didasarkan pada bug bounty di industri perangkat lunak, di mana peretas diberi imbalan untuk menemukan kesalahan dalam kode. Dalam proyek Elson, peneliti dibayar untuk menyelusuri makalah untuk kemungkinan kesalahan dan diberikan bonus untuk setiap kesalahan yang terverifikasi yang mereka temukan.
Idea itu berasal dari diskusi antara Elson dan Arslan, yang mendorong ilmuwan untuk menemukan kesalahan dalam karyanya sendiri dengan menawarkan membeli mereka sebotol bir jika mereka mengidentifikasi typo (dibatasi hingga tiga per makalah) dan €400 ($430) untuk kesalahan yang mengubah kesimpulan utama makalah tersebut. “Kami berdua sadar akan makalah di bidang masing-masing yang benar-benar cacat karena kesalahan yang dapat dibuktikan, tapi sangat sulit untuk memperbaiki catatan,” kata Elson. Semua kesalahan publik ini bisa menjadi masalah besar, pikir Elson. Jika seorang peneliti PhD menghabiskan gelarnya mengejar hasil yang ternyata adalah kesalahan, itu bisa berarti puluhan ribu dolar terbuang percuma.
Pengecekan kesalahan bukan bagian standar dari publikasi makalah ilmiah, kata Hussey, seorang peneliti meta-sains di laboratorium Elson di Bern. Saat sebuah makalah diterima oleh jurnal ilmiah—seperti Nature atau Science—makalah itu dikirimkan kepada beberapa ahli di bidang tersebut yang memberikan pendapat mereka apakah makalah tersebut berkualitas tinggi, logis, dan memberikan kontribusi berharga pada bidang tersebut. Namun, para reviewer sejawat tersebut biasanya tidak memeriksa kesalahan dan dalam kebanyakan kasus tidak akan memiliki akses ke data mentah atau kode yang mereka butuhkan untuk menghilangkan kesalahan.