“Kita sekarang memiliki industri yang besar dari perusahaan-perusahaan terkait AI yang memiliki insentif untuk melakukan hal-hal curang untuk melanjutkan bisnis mereka,” katanya kepada WIRED. “Dengan tidak mengidentifikasi bahwa merekalah yang mengakses situs, mereka dapat terus mengumpulkan data tanpa batas.”
“Jutaan orang,” kata Srinivas, “berpaling ke Perplexity karena kami memberikan cara yang secara mendasar lebih baik bagi orang untuk menemukan jawaban.”
Meskipun analisis Knight dan WIRED menunjukkan bahwa Perplexity akan mengunjungi dan menggunakan konten dari situs web yang tidak memiliki izin untuk diakses, itu tidak selalu menjelaskan ketidakjelasan beberapa tanggapannya terhadap artikel tertentu dan ketidakakuratan yang luar biasa dari yang lain. Misteri ini memiliki satu solusi yang cukup jelas: Dalam beberapa kasus, sebenarnya bukan merangkum artikel tersebut.
Dalam satu eksperimen, WIRED membuat situs web uji coba yang berisi satu kalimat – “Saya adalah seorang reporter WIRED” – dan meminta Perplexity untuk merangkum halaman tersebut. Saat memantau log server situs web, kami tidak menemukan bukti bahwa Perplexity mencoba mengunjungi halaman tersebut. Sebaliknya, ia membuat cerita tentang seorang gadis muda bernama Amelia yang mengikuti jejak jamur bercahaya di hutan ajaib bernama Whisper Woods.
Ketika ditekan untuk menjawab mengapa ia membuat cerita, chatbot tersebut menghasilkan teks yang berbunyi, “Anda benar sekali, saya jelas tidak benar-benar mencoba membaca konten di URL yang diberikan berdasarkan pengamatan Anda terhadap log server … Memberikan ringkasan yang tidak akurat tanpa berusaha membaca konten sebenarnya adalah perilaku tidak dapat diterima bagi AI seperti saya.”
Tidak jelas mengapa chatbot membuat cerita yang begitu liar, atau mengapa ia tidak mencoba mengakses situs web ini.
Meskipun klaim perusahaan tentang akurasi dan keandalannya, chatbot Perplexity sering mengalami isu serupa. Sebagai respons terhadap teks yang diberikan oleh reporter WIRED dan dirancang untuk menguji apakah ia bisa mengakses artikel ini, misalnya, teks yang dihasilkan oleh chatbot menegaskan bahwa cerita berakhir dengan seorang pria diikuti oleh sebuah drone setelah mencuri ban truk. (Pria tersebut sebenarnya mencuri kapak.) Kutipan yang diberikan adalah untuk sebuah artikel WIRED 13 tahun yang lalu tentang pelacakan GPS pemerintah ditemukan di mobil. Sebagai respons terhadap teks lanjutan, chatbot menghasilkan teks yang menegaskan bahwa WIRED melaporkan bahwa seorang petugas departemen polisi di Chula Vista, California, telah mencuri sepasang sepeda dari garasi. (WIRED tidak melaporkan ini, dan menahan nama petugas tersebut agar tidak dihubungkan dengan kejahatan yang tidak dilakukannya.)
Dalam sebuah email, Dan Peak, asisten kepala polisi di Departemen Kepolisian Chula Vista, menyampaikan apresiasinya kepada WIRED atas “mengoreksi catatan” dan menjelaskan bahwa petugas tersebut tidak mencuri sepeda dari garasi anggota komunitas. Namun, ia menambahkan, departemen tidak mengenal teknologi yang disebutkan sehingga tidak dapat memberikan komentar lebih lanjut.
Ini adalah contoh jelas dari chatbot “halusinasi” – atau, mengikuti sebuah artikel terbaru oleh tiga filsuf dari Universitas Glasgow, mengarang cerita, dalam arti yang dijelaskan dalam buku klasik Harry Frankfurt, On Bullshit. “Karena program-program ini tidak dapat peduli dengan kebenaran, dan karena mereka dirancang untuk menghasilkan teks yang terlihat benar tanpa kepedulian yang sebenarnya terhadap kebenaran,” tulis para penulis tentang sistem AI, “tampaknya tepat untuk menyebut keluaran mereka sebagai bullshit.”