Seperti model genAI lainnya, respon Google Gemini kadang-kadang bisa tidak akurat, tetapi dalam kasus ini mungkin karena para tester tidak memiliki keahlian untuk memeriksa fakta. Menurut TechCrunch, perusahaan yang disewa untuk meningkatkan akurasi Gemini sekarang membuat para tester mengevaluasi respon meskipun mereka tidak memiliki “pengetahuan domain.” Laporan tersebut menimbulkan pertanyaan tentang ketegasan dan standar yang diterapkan Google dalam pengujian Gemini untuk akurasi. Google tampaknya mengabaikan masalah halusinasi dan kesalahan dengan hanya menambahkan penyangkalan bahwa “Gemini bisa melakukan kesalahan, jadi periksa dua kali,” yang efektif melepaskannya dari segala tanggung jawab. Tetapi itu tidak memperhitungkan manusia yang melakukan pekerjaan di belakang layar. Sebelumnya, GlobalLogic, anak perusahaan Hitachi, menginstruksikan insinyur dan analisnya untuk melewati respons Gemini yang tidak mereka pahami sepenuhnya. Namun minggu lalu, GlobalLogic mengubah instruksi mereka, mengatakan, “Anda tidak boleh melewati respons yang memerlukan pengetahuan domain khusus,” dan malah “menilai bagian-bagian dari respons yang Anda pahami,” dan mencatat bahwa mereka tidak memiliki keahlian yang diperlukan dalam analisis mereka. Keahlian, dengan kata lain, tidak diperlakukan sebagai prasyarat untuk pekerjaan ini. Subkontraktor sekarang hanya dapat melewati respons yang “benar-benar tidak memiliki informasi,” menurut TechCrunch, atau yang mengandung konten sensitif yang memerlukan formulir persetujuan.
