Banyak perusahaan bisa kasih tau berapa banyak pengguna manusia yang punya akses ke sistem keuangan mereka. Tapi sedikit yang bisa kasih tau berapa banyak agen AI yang punya akses.
Belakangan ini, pembicaraan soal AI di perusahaan fokus pada gangguan untuk pekerja, ROI, dan cara menambah penggunaan AI. Pertanyaan itu penting, tapi sekarang sudah jadi hal operasional biasa. Masalah yang lebih struktural mulai muncul. Ini akan menentukan apakah AI jadi keuntungan yang tahan lama atau justru jadi masalah yang makin besar.
Risiko sebenarnya bukan performa model AI atau iklan berlebihan di media. Risikonya adalah penyebaran cepat agen AI otonom yang beroperasi tanpa identitas yang diatur, kontrol akses yang bisa ditegakkan, atau tata kelola siklus hidup. Kerangka tata kelola yang dirancang untuk pengguna manusia dan perangkat lunak tradisional mulai ketinggalan – dan sedikit organisasi yang mengukur bahayanya secara sistematis.
Baru-baru ini, masalah ini jadi lebih terlihat. Ada platform yang muncul tanpa pengamanan nyata untuk mencegah oknum jahat dan punya kapasitas buat bikin serta meluncurkan banyak sekali bot. Platform ini menunjukkan seberapa cepat aktor digital yang tak terkelola bisa berkembang – dan bagaimana susahnya melacak mereka setelahnya. Program pintar sekarang bekerja tanpa tata kelola yang berarti dan punya akses ke sistem serta data di luar penglihatan kita.
Kalau organisasi tidak menerapkan kerangka keamanan tingkat industri untuk agen AI sekarang, kita akan cepat menghadapi akibatnya di lingkungan perusahaan yang sangat penting.
Agen AI yang Tak Terkendali: Batas Risiko Perusahaan Berikutnya
Agen AI berbeda pentingnya dari perangkat lunak tradisional dan pengguna manusia. Kebanyakan sistem perusahaan sekarang dibangun seputar identitas yang jelas. Pengguna punya akun bernama, aplikasi beroperasi dengan kredensial layanan terdaftar, dan akses diberikan sesuai peran yang sudah ditetapkan yang bisa dipantau, diaudit, dan dicabut jika perlu.
Agen AI otonom tidak cocok rapi dengan model ini. Mereka bisa bertindak atas nama pengguna, berinteraksi dengan banyak sistem, dan buat keputusan tanpa campur tangan manusia langsung. Di banyak organisasi, mereka tidak punya identitas stabil yang diatur. Akses mereka tidak selalu terikat kebijakan yang jelas. Siklus hidup mereka jarang dikelola dari pembuatan sampai pensiun.
Para peneliti sudah menyoroti bagaimana kelemahan di lingkungan yang digerakkan agen bisa mengizinkan instruksi jahat, serangan *prompt injection*, atau data beracun menyebar cepat ke sistem-sistem yang terhubung. Di perusahaan di mana agen terhubung ke data sensitif, sistem keuangan, atau infrastruktur operasional, bahkan celah tata kelola kecil bisa meningkat jadi risiko material.
Dengan kata lain, risiko sebenarnya bukan cuma apa yang bisa agen lakukan, tapi apa yang bisa mereka akses.
Kerentanan Sebenarnya Bukan Model AI-nya, Tapi Fondasinya
Dalam pekerjaan saya dengan organisasi yang beralih dari eksperimen AI ke penerapan skala perusahaan, satu pola yang menonjol: titik kegagalan terbesar jarang model AI-nya sendiri. Lebih sering, masalahnya adalah fondasi data yang lemah dan kerangka kontrol yang tidak lengkap.
Akibatnya sudah nyata. Kegagalan kepatuhan, hasil yang bias, dan rusaknya tata kelola menghasilkan kerugian finansial dan operasional di berbagai industri. Di beberapa kasus, biaya perbaikan melonjak sampai puluhan juta dolar saat celah tata kelola ditemukan setelah penerapan. Ini bukan contoh kecerdasan yang lepas kendali. Ini kegagalan operasional. Ketika AI dimasukkan ke lingkungan kompleks tanpa tata kelola identitas yang dimodernisasi dan pemantauan terus-menerus, risiko berkembang lebih cepat daripada nilainya.
Kebutuhan mendesak meningkat seiring adopsi AI menyebar melebihi tim terpusat. Karyawan bereksperimen dan menerapkan agen di dalam fungsi bisnis, sering tanpa visibilitas di seluruh perusahaan. Otonomi berkembang secara lateral di organisasi lebih cepat daripada *pengawasan* perusahaan bisa beradaptasi. Tanpa standar jelas untuk identitas, akses, dan pengawasan, aktor digital bisa diam-diam mengumpulkan izin dan pengaruh jauh melampaui cakupan yang dimaksudkan.
Ini akhirnya soal kesiapan arsitektur. Pemimpin harus bisa jawab tiga pertanyaan kapan saja: Di mana data kritis kita berada? Siapa atau apa yang bisa mengaksesnya? Bagaimana akses itu divalidasi dan ditinjau?
Jadi, meningkatkan skala AI dengan aman butuh pengaturan ulang operasional. Agen otonom harus diperlakukan sebagai aktor yang bertanggung jawab di dalam perusahaan. Ini termasuk dokumentasi jelas peran dan tanggung jawab, siklus tinjauan rutin, dan integrasi dengan proses TI dan risiko yang ada. Akses harus disengaja dan terus divalidasi, serta aktivitasnya harus tetap dapat diamati. Organisasi yang melakukan perubahan ini tidak membatasi inovasi; mereka menciptakan kondisi untuk skala yang berkelanjutan. Di era AI, kematangan operasional adalah yang akhirnya memisahkan eksperimen dari keuntungan yang tahan lama.
Seruan untuk Mengubah Narasi dari Hype ke Kesiapan
Agen AI bukan lagi ancaman teoretis, dan jelas percakapan industri yang lebih luas perlu berkembang. Kita banyak habiskan waktu bahas performa model dan kasus penggunaan baru. Kita perlu habiskan waktu yang sama banyaknya untuk identitas, tata kelola data, kontrol akses, dan manajemen siklus hidup untuk aktor otonom yang kita perkenalkan ke lingkungan kita.
Tanpa pagar pembatas yang sudah lama jadi standar di area TI lain, agen-agen ini bisa jadi pasukan diam aktor digital tak terkelola yang beroperasi di dalam sistem kompleks. Mengatasi risiko itu butuh perhatian kepemimpinan, kolaborasi lintas fungsi, dan komitmen untuk membangun tata kelola tingkat industri untuk era AI. Organisasi yang menganggap ini serius tidak hanya akan mengurangi paparan risikonya. Mereka juga akan membangun kepercayaan dan ketahanan yang dibutuhkan untuk meningkatkan skala AI dengan percaya diri, mendorong kolaborasi lebih kuat antara bisnis dan TI. Di dunia di mana sistem cerdas jadi bagian tenaga kerja, keamanan operasional bukan lagi hanya urusan teknis, tapi kebutuhan strategis. AI hanya akan berskala sejauh kepercayaan memungkinkannya. Tata kelola adalah yang membuat kepercayaan itu mungkin.
Pandangan yang tercermin di artikel ini adalah pandangan penulis dan belum tentu mencerminkan pandangan organisasi EY global atau firma anggotanya, dan juga belum tentu mencerminkan opini dan keyakinan Fortune.