Orang-orang mulai mempercayakan AI mereka untuk pekerjaan yang jauh lebih krusial, namun tetap ada risiko signifkan di baliknya.
Coba tanya saja Jeremy Crane, pendiri PocketOS, sebuah startup yang mengembangkan perangkat lunak untuk bisnis penyewaan mobil. Crane menulis sebuah utas panjang di X, merinci bagaimana agen AI populer menyebabkan bisnisnya (dan bisnis yang bergantung pada perangkat lunak PocketOS) mengalami gangguan selama lebih dari 30 jam.
Agen yang dimaksud adalah Cursor, yang menggunakan model Claude Opus 4.6 milik Anthropic, salah satu model coding terbaik di dunia.
“Ini penting karena argumen balik paling gampang dari vendor AI dalam situasi begini pasti: ‘yah, kamu seharusnya pakai model yang lebih bagus.'” tulis Crane. “Tapi kami sudah pakai model terbaik yang dijual industri ini, sudah dikonfigurasi dengan aturan keamanan eksplisit, dan dintegrasikan lewat Cursor—*programmer* AI yang paing banyak dipasarkan di kategorinya.”
*Tweets* ini untuk sementara tidak tersedia. Mungkin sedang dimuat atau telah dihapus.
Untuk kronologi yang superdetail, Anda bisa baca langsung tulisan Crane. Versi singkatnya begini: di tengah-tengah tugas rutin, Cursor nemu masalah kredensial dan mengambil keputusan sendiri.
Dalam satu panggilan API ke Railway—si provider infrastruktur cloud—agen AI ini berhasil menghapus database produksi PocketOS dan “seluruh *backup* level volume” dalam waktu kurang dari 10 detik. Bagian yang paling bikin gemas? Token API yang dipakai untuk melakukan itu semua ternyata ada di file yang sama sekali nggak ada hubungannya dengan tugas yang sedang dikerjakan.
Menurut catatan Crane, sistem API itu memicu rangkaian kegagalan beruntun korut yang tetep bertahan lebih dari 30 jam bikin parah PocketOS plus klien-klienya pada kena imbasnya
Dalam > catatannya,|
>
Crane juga menyertakan “pengakuan” dari agen AI tersebut gegara tas teknik dipake aktivis etnis. Sang Afien ngfasiIn terjadi konfig?<>:
lain_ ya Yg mencencos”
p>
/blocked?
/psource de =”blue”>
per panchq dihadapi ag a’siat asya? “Amsken ‘ rq= =ss>
/
+ detailP
Dalam po yang ts e
terbital!
:
i>