“
Startup AI Anysphere telah meraih kesuksesan dalam dua bulan terakhir, berkat popularitas yang meroket dari asisten penulisan kode perangkat lunak AI-nya, Cursor. Perusahaan ini, yang menjadi incaran akuisisi oleh OpenAI dan dilaporkan sedang dalam pembicaraan pendanaan untuk penilaian hampir $10 miliar, mencapai pendapatan tahunan sebesar $100 juta sejak Cursor diluncurkan pada tahun 2023. Namun minggu ini, Cursor menjadi viral karena alasan yang salah: AI customer support-nya menjadi rusak, memicu gelombang pembatalan dan menjadi pelajaran berharga bagi startup lain yang bertaruh besar pada otomatisasi.
Semua ini dimulai awal minggu ini, ketika seorang pengguna Cursor memposting di Hacker News dan Reddit bahwa pelanggan mulai keluar secara misterius saat beralih antar perangkat. Bingung, mereka menghubungi customer support, hanya untuk diberitahu dalam balasan email dari “Sam” bahwa keluar masuk tersebut adalah “perilaku yang diharapkan” dalam kebijakan login baru.
Tetapi tidak ada kebijakan baru—dan tidak ada manusia di balik email dukungan. Respon itu berasal dari bot AI dan kebijakan baru tersebut adalah “halusinasi,” penjelasan yang sepenuhnya dibuat-buat.
Berita ini menyebar dengan cepat di komunitas pengembang, menyebabkan laporan pelanggan membatalkan langganan mereka, sementara beberapa mengeluh tentang kurangnya transparansi. Pendiri Michael Truell akhirnya memposting di Reddit mengakui “respon yang tidak benar dari bot dukungan AI garis depan” dan mengatakan sedang menyelidiki bug yang membuat pengguna keluar masuk. “Mohon maaf atas kebingungannya di sini,” tulisnya.
Namun respon tersebut tampak seperti terlambat—dengan halusinasi bot dukungan AI meninggalkan Cursor tampaknya tanpa antisipasi. Fortune menghubungi Cursor untuk komentar namun tidak menerima respons.
Pengaruh-pengaruh teknologi di LinkedIn sudah menggunakan contoh ini untuk memperingatkan startup lain. “Cursor…baru saja terjebak dalam kekacauan viral karena gagal memberi tahu pengguna bahwa “orang” dukungan pelanggan Sam sebenarnya adalah bot yang mengalami halusinasi,” tulis Cassie Kozyrkov, penasihat AI dan mantan ilmuwan keputusan utama Google, dalam sebuah posting LinkedIn. “Kekacauan ini bisa dihindari jika pemimpin memahami bahwa (1) AI melakukan kesalahan, (2) AI tidak bisa bertanggung jawab atas kesalahan tersebut (sehingga jatuh pada Anda), dan (3) pengguna tidak suka dibodohi oleh mesin yang menyamar sebagai manusia,” lanjutnya.
Walaupun dukungan pelanggan telah dianggap sebagai kasus penggunaan teratas untuk AI generatif sejak chatbot ChatGPT OpenAI debut pada tahun 2022, juga penuh dengan risiko, kata Sanketh Balakrishna, manajer rekayasa di platform keamanan awan Datadog. Dukungan pelanggan membutuhkan tingkat empati, nuansa, dan pemecahan masalah yang saat ini sulit dihadirkan oleh AI sendiri, jelasnya. “Saya akan berhati-hati tentang bergantung sepenuhnya pada bot AI untuk menangani masalah pengguna,” katanya kepada Fortune melalui email. “Jika saya tahu bahwa satu-satunya dukungan yang tersedia adalah sistem AI yang rentan terhadap kesalahan sesekali, itu bisa merusak kepercayaan dan mempengaruhi kemampuan kita untuk menyelesaikan masalah secara efektif.”
Amiran Shachar, CEO perusahaan keamanan Upwind, menunjukkan bahwa ini bukan kali pertama chatbot AI yang mengalami halusinasi membuat berita. Chatbot AI Air Canada memberi tahu pelanggan tentang kebijakan pengembalian dana yang tidak ada, sementara penyedia layanan pembayaran Klarna melakukan perubahan kebijakan dalam menggantikan semua agen layanan pelanggan manusia pada bulan Februari setelah keluhan tentang halusinasi chatbot AI-nya. “Pada dasarnya, AI tidak memahami pengguna Anda atau bagaimana mereka bekerja,” katanya kepada Fortune melalui email. “Tanpa batasan yang tepat, AI akan ‘dengan percaya diri’ mengisi celah dengan informasi yang tidak didukung.” Bagi pengguna teknis tinggi seperti pelanggan pengembang Cursor, “tidak ada ruang untuk penjelasan yang sembrono.”
Satu pelanggan Cursor setuju: Melanie Warrick, co-founder startup AI kesehatan Fight Health Insurance, mengatakan bahwa ia menemukan bahwa Cursor menawarkan dukungan yang bagus untuk pengembang, tetapi juga ada gesekan yang semakin meningkat. “Minggu lalu, saya mengalami kesalahan agen yang persisten (‘coba lagi dalam beberapa menit’) yang tidak pernah hilang,” katanya kepada Fortune melalui email. “Dukungan memberikan jawaban yang sama, kemungkinan dihasilkan oleh AI, berkali-kali, tanpa menyelesaikan masalah. Saya berhenti menggunakannya—agen tidak berfungsi, dan mengejar perbaikan terlalu mengganggu.”
Saat ini, halusinasi yang membuat berita terbatas pada chatbot AI, tetapi para ahli memperingatkan bahwa seiring makin banyak perusahaan mengadopsi agen AI otonom, konsekuensi bagi perusahaan bisa jauh lebih buruk. Hal ini terutama berlaku di industri yang sangat diatur seperti kesehatan, keuangan, atau hukum—seperti transfer kawat yang pihak lawan menolak mengembalikannya atau kesalahpahaman yang mempengaruhi kesehatan pasien.
Prospek agen yang mengalami halusinasi “adalah bagian krusial dari teka-teki yang harus dipecahkan industri kita sebelum agen AI dapat benar-benar mencapai adopsi luas,” kata Amr Awadallah, CEO dan pendiri Vectara, perusahaan yang menawarkan alat untuk membantu bisnis mengurangi risiko dari halusinasi AI.
Walaupun bukan kesalahan agen AI otonom yang menyelesaikan tugas, kesalahan Cursor adalah “persis skenario terburuk” yang memperlambat adopsi agen AI, katanya kepada Fortune melalui email. Bisnis menyukai gagasan agen AI otonom yang bisa mengambil tindakan sendiri, sehingga menghemat biaya tenaga kerja. Namun, katanya, perusahaan juga “sangat khawatir bahwa satu insiden halusinasi, dipadukan dengan tindakan yang mengganggu atau bahkan merusak oleh AI, dapat sangat memengaruhi bisnis mereka.”
Cerita ini awalnya ditampilkan di Fortune.com
“