Bahasa bisa terlihat sangat kompleks, dengan lelucon internal dan idiom kadang memiliki arti hanya untuk sekelompok kecil orang dan tampak tidak berarti bagi kita yang lain. Terima kasih kepada generative AI, bahkan yang tidak berarti menemukan arti minggu ini ketika internet meledak seperti ikan trout di atas kemampuan Overviews AI pencarian Google untuk mendefinisikan frasa yang belum pernah diucapkan sebelumnya.
Apa, kamu belum pernah mendengar ungkapan “meledak seperti ikan trout”? Tentu, saya baru membuatnya, tapi hasil tinjauan AI Google memberi tahu saya bahwa itu adalah “cara sehari-hari untuk mengatakan sesuatu meledak atau menjadi sensasi dengan cepat,” kemungkinan mengacu pada warna dan tanda ikan yang menarik. Tidak, itu tidak masuk akal.
Tren ini mungkin dimulai di Threads, di mana penulis dan penulis naskah Meaghan Wilson Anastasios berbagi apa yang terjadi ketika ia mencari “hak tinggi platform mentega kacang.” Google mengembalikan hasil yang mengacu pada sebuah eksperimen ilmiah (tidak nyata) di mana mentega kacang digunakan untuk menunjukkan pembentukan berlian di bawah tekanan tinggi.
Bergerak ke situs media sosial lainnya, seperti Bluesky, di mana orang-orang berbagi interpretasi Google tentang frasa seperti “Anda tidak bisa menjilat musang dua kali.” Permainan: Cari frasa novel, nonsensikal dengan “makna” di akhir.
Hal-hal berlanjut dari situ.
Meme ini menarik karena lebih dari sekadar hiburan komik. Ini menunjukkan bagaimana model bahasa besar mungkin berusaha memberikan jawaban yang terdengar benar, bukan yang benar.
” Mereka dirancang untuk menghasilkan respons yang lancar, masuk akal, bahkan ketika inputnya benar-benar tidak masuk akal,” kata Yafang Li, profesor asisten di Fogelman College of Business and Economics di University of Memphis. “Mereka tidak dilatih untuk memverifikasi kebenaran. Mereka dilatih untuk melengkapi kalimat.”
Seperti lem di atas pizza
Arti palsu dari ungkapan-ungkapan palsu mengingatkan pada kenangan tentang cerita-cerita yang terlalu benar tentang AI Overviews Google memberikan jawaban yang sangat salah untuk pertanyaan dasar – seperti saat disarankan untuk menempelkan lem di atas pizza untuk membantu keju menempel.
Tren ini tampaknya setidaknya sedikit lebih tidak berbahaya karena tidak berpusat pada saran yang dapat dilakukan. Saya berharap tidak ada yang mencoba menjilat musang sekali, apalagi dua kali. Masalah di baliknya, bagaimanapun, sama – model bahasa besar, seperti Gemini Google di balik Overviews AI, mencoba menjawab pertanyaan Anda dan menawarkan respons yang layak. Meskipun apa yang diberikan adalah omong kosong.
Seorang juru bicara Google mengatakan AI Overviews dirancang untuk menampilkan informasi yang didukung oleh hasil pencarian web teratas, dan bahwa mereka memiliki tingkat akurasi yang sebanding dengan fitur pencarian lainnya.
“Ketika orang melakukan pencarian yang tak masuk akal atau ‘asumsi salah’, sistem kami akan mencoba menemukan hasil yang paling relevan berdasarkan konten web yang tersedia terbatas,” kata juru bicara Google. “Hal ini berlaku untuk pencarian secara keseluruhan, dan dalam beberapa kasus, AI Overviews juga akan dipicu dalam upaya memberikan konteks yang membantu.”
Kasus tertentu ini adalah “void data,” di mana tidak ada banyak informasi relevan yang tersedia untuk kueri pencarian. Juru bicara mengatakan Google sedang berusaha membatasi kapan AI Overviews muncul pada pencarian tanpa informasi yang cukup dan mencegah mereka memberikan konten yang menyesatkan, satiris, atau tidak membantu. Google menggunakan informasi tentang kueri seperti ini untuk lebih memahami kapan AI Overviews seharusnya muncul atau tidak muncul.
Anda tidak akan selalu mendapatkan definisi yang dibuat-buat jika Anda meminta arti frasa palsu. Saat menulis judul bagian ini, saya mencari “makna seperti lem di atas pizza,” dan tidak memicu AI Overview.
Masalah ini tidak tampak menjadi universal di LLMs. Saya bertanya pada ChatGPT tentang arti “Anda tidak bisa menjilat musang dua kali” dan ia memberi tahu saya bahwa frasa tersebut “bukan idiom standar, tetapi pasti terdengar seperti jenis peribahasa aneh, pedesaan yang mungkin seseorang gunakan.” Namun, ia tetap mencoba menawarkan definisi, pada dasarnya: “Jika Anda melakukan sesuatu dengan gegabah atau memprovokasi bahaya sekali, Anda mungkin tidak akan bertahan untuk melakukannya lagi.”
Baca lebih lanjut: AI Essentials: 27 Cara Membuat Gen AI Bekerja untuk Anda, Menurut Para Ahli Kami
Menarik makna dari hampa
Fenomena ini adalah contoh menghibur dari kecenderungan LLMs untuk membuat sesuatu – apa yang dunia AI sebut “halusinasi.” Ketika model gen AI mengalami halusinasi, ia menghasilkan informasi yang terdengar seperti mungkin masuk akal atau akurat tetapi tidak berakar pada kenyataan.
LLMs bukan “pembuat fakta,” kata Li, mereka hanya memprediksi potongan bahasa berikutnya berdasarkan pelatihan mereka.
Sebagian besar peneliti AI dalam survei terbaru melaporkan mereka meragukan masalah akurasi dan kepercayaan AI akan diselesaikan segera.
Definisi palsu menunjukkan tidak hanya ketidakakuratan tetapi ketidakakuratan percaya diri LLMs. Ketika Anda bertanya pada seseorang tentang arti frasa seperti “Anda tidak bisa mendapatkan kalkun dari Cybertruck,” Anda mungkin mengharapkan mereka mengatakan mereka tidak pernah mendengarnya dan itu tidak masuk akal. LLMs sering bereaksi dengan kepercayaan diri yang sama seolah Anda meminta definisi idiom nyata.
Dalam kasus ini, Google mengatakan frasa tersebut berarti Tesla Cybertruck “tidak dirancang atau mampu mengirimkan kalkun Thanksgiving atau barang serupa” dan menyoroti “desain futuristik yang khas yang tidak mendukung membawa barang-barang besar.”
Trend lucu ini memiliki pelajaran yang menakutkan: Jangan percayakan segala sesuatu yang Anda lihat dari chatbot. Mungkin membuat sesuatu dari udara tipis, dan tidak akan menunjukkan bahwa itu tidak pasti.
” Ini adalah momen yang sempurna bagi pendidik dan peneliti untuk menggunakan skenario ini untuk mengajarkan orang bagaimana makna dihasilkan dan bagaimana AI bekerja dan mengapa itu penting,” kata Li. “Pengguna harus selalu skeptis dan memverifikasi klaim.”
Hati-hati dengan apa yang Anda cari
Karena Anda tidak dapat mempercayai seorang LLM untuk bersikap skeptis atas nama Anda, Anda perlu mendorongnya untuk menganggap apa yang Anda katakan dengan sejumput garam.
“Ketika pengguna memasukkan sebuah prompt, model itu hanya menganggapnya valid dan kemudian melanjutkan untuk menghasilkan jawaban yang paling mungkin akurat untuk itu,” kata Li.
Solusinya adalah memperkenalkan ketidakpercayaan dalam prompt Anda. Jangan bertanya tentang arti frasa atau idiom yang tidak dikenal. Tanyakan apakah itu nyata. Li menyarankan Anda bertanya “apakah ini idiom nyata?”
” Itu mungkin membantu model mengenali frasa daripada sekadar menebak,” katanya.