Pada hari Senin, seorang pengembang yang menggunakan editor kode AI-powered populer bernama Cursor melihat sesuatu yang aneh: Saat beralih antara mesin, mereka langsung keluar, mengganggu alur kerja umum bagi para programmer yang menggunakan beberapa perangkat. Ketika pengguna menghubungi dukungan Cursor, seorang agen bernama “Sam” memberi tahu mereka bahwa itu adalah perilaku yang diharapkan dalam kebijakan baru. Namun, tidak ada kebijakan tersebut, dan Sam adalah bot. Model AI membuat kebijakan itu, memicu gelombang keluhan dan ancaman pembatalan yang didokumentasikan di Hacker News dan Reddit.
Ini merupakan contoh terbaru dari AI confabulations (juga disebut “halusinasi”) yang menyebabkan kerusakan bisnis potensial. Confabulations adalah jenis respons “mengisi celah kreatif” di mana model AI menciptakan informasi yang terdengar masuk akal namun salah. Alih-alih mengakui ketidakpastian, model AI sering memprioritaskan menciptakan respons yang masuk akal dan percaya diri, bahkan ketika itu berarti membuat informasi dari awal.
Untuk perusahaan yang menggunakan sistem ini dalam peran berhadapan dengan pelanggan tanpa pengawasan manusia, konsekuensinya bisa langsung dan mahal: pelanggan frustasi, kehilangan kepercayaan, dan, dalam kasus Cursor, langganan yang potensial dibatalkan.
Bagaimana Kejadiannya
Insiden dimulai ketika seorang pengguna Reddit bernama BrokenToasterOven melihat bahwa saat beralih antara desktop, laptop, dan kotak pengembangan jarak jauh, sesi Cursor tiba-tiba terputus.
“Masuk ke Cursor di satu mesin langsung membuat sesi tidak valid di mesin lainnya,” tulis BrokenToasterOven dalam pesan yang kemudian dihapus oleh moderator r/cursor. “Ini adalah regresi UX yang signifikan.”
Bingung dan frustrasi, pengguna menulis email ke dukungan Cursor dan dengan cepat menerima balasan dari Sam: “Cursor dirancang untuk bekerja dengan satu perangkat per langganan sebagai fitur keamanan inti,” bunyi balasan email tersebut. Tanggapan itu terdengar pasti dan resmi, dan pengguna tidak curiga bahwa Sam bukan manusia.
Setelah unggahan awal Reddit, pengguna menganggap unggahan itu sebagai konfirmasi resmi dari perubahan kebijakan yang sebenarnya—yang melanggar kebiasaan penting bagi rutinitas harian banyak programmer. “Alur kerja multi-perangkat adalah hal yang mendasar bagi para pengembang,” tulis seorang pengguna.
Tidak lama setelah itu, beberapa pengguna secara terbuka mengumumkan pembatalan langganan mereka di Reddit, dengan mengutip kebijakan yang tidak ada sebagai alasan. “Saya benar-benar baru saja membatalkan langganan saya,” tulis pengguna Reddit asli, menambahkan bahwa tempat kerjanya sekarang “menghapusnya sepenuhnya.” Orang lain bergabung: “Ya, saya juga membatalkan, ini bodoh.” Tak lama kemudian, moderator mengunci utas Reddit dan menghapus unggahan asli.
“Hey! Kami tidak memiliki kebijakan seperti itu,” tulis seorang perwakilan Cursor dalam balasan Reddit tiga jam kemudian. “Tentu saja Anda bebas menggunakan Cursor di beberapa mesin. Sayangnya, ini adalah tanggapan yang salah dari bot dukungan AI garis depan.”
AI Confabulations sebagai Risiko Bisnis
Kejadian Cursor mengingatkan pada episode serupa pada Februari 2024 ketika Air Canada diinstruksikan untuk menghormati kebijakan pengembalian dana yang dibuat oleh chatbotnya sendiri. Dalam insiden itu, Jake Moffatt menghubungi dukungan Air Canada setelah neneknya meninggal, dan agen AI maskapai penerbangan tersebut secara keliru memberitahunya bahwa dia bisa memesan penerbangan dengan harga normal dan mengajukan tarif duka belasungkawa secara retroaktif. Ketika Air Canada kemudian menolak permintaan pengembaliannya, perusahaan berargumen bahwa “chatbot adalah entitas hukum yang terpisah yang bertanggung jawab atas tindakannya sendiri.” Sebuah tribunal Kanada menolak pembelaan ini, memutuskan bahwa perusahaan bertanggung jawab atas informasi yang diberikan oleh alat AI mereka.
Daripada mempersengketakan tanggung jawab seperti yang dilakukan Air Canada, Cursor mengakui kesalahan tersebut dan mengambil langkah-langkah untuk memperbaikinya. Pendiri Cursor, Michael Truell kemudian meminta maaf di Hacker News atas kebingungan tentang kebijakan yang tidak ada itu, menjelaskan bahwa pengguna telah dikembalikan dan masalah tersebut disebabkan oleh perubahan backend yang dimaksudkan untuk meningkatkan keamanan sesi yang tanpa disengaja menciptakan masalah invalidasi sesi bagi beberapa pengguna.
“Semua tanggapan AI yang digunakan untuk dukungan email sekarang jelas dicap sebagai demikian,” tambahnya. “Kami menggunakan tanggapan bantuan AI sebagai filter pertama untuk dukungan email.”
Meskipun insiden ini menimbulkan pertanyaan yang mengganjal tentang pengungkapan di antara pengguna, karena banyak orang yang berinteraksi dengan Sam tampaknya percaya bahwa itu manusia. “LLM pura-pura menjadi orang (Anda memberinya nama Sam!) dan tidak dicap sebagai demikian jelas dimaksudkan untuk menipu,” tulis seorang pengguna di Hacker News.
Meskipun Cursor telah memperbaiki bug teknisnya, insiden tersebut menunjukkan risiko dari implementasi model AI dalam peran berhadapan dengan pelanggan tanpa langkah pengamanan dan transparansi yang tepat. Bagi perusahaan yang menjual alat produktivitas AI kepada pengembang, memiliki sistem dukungan AI sendiri menciptakan kebijakan yang membuat alienasi bagi pengguna inti merupakan luka yang sangat merepotkan yang disebabkan oleh diri sendiri.
“Ada ironi tertentu bahwa orang sangat berusaha keras untuk mengatakan bahwa halusinasi bukan masalah besar lagi,” tulis seorang pengguna di Hacker News, “dan kemudian sebuah perusahaan yang akan mendapat manfaat dari narasi itu langsung terluka karena itu.”
Cerita ini awalnya muncul di Ars Technica.