Sistem tata kelola yang dibuat eksekutif selama puluhan tahun dirancang untuk manusia. Agen AI bukanlah manusia, dan jarak antara kedua fakta ini adalah tempat risiko perusahaan sekarang terkumpul paling cepat.
Selama setahun terakhir, organisasi dipaksa menghadapi kenyataan bahwa AI dijalankan lebih cepat daripada kemampuan mengaturnya. Penggunaan ‘shadow AI’ yang meningkat memperlihatkan celah tentang siapa, atau apa, yang diizinkan bertindak. Penelitian terbaru kami menunjukkan 91% organisasi sudah menggunakan agen AI, tetapi hanya 10% yang punya strategi jelas untuk mengelolanya.
Agen AI sekarang adalah pelaku operasional, bertindak sendiri tanpa perlu manajer manusia memimpin.
Aktor digital otonom ini bisa menganalisis data, memulai alur kerja, dan bertindak di dalam bisnis. Tapi sementara manfaat untuk kecepatan, skala, dan produktivitas mudah dilihat, pergeseran wewenang kurang terlihat.
Ancaman nyata dalam adopsi AI perusahaan bukanlah seberapa pintar agennya, tetapi seberapa banyak wewenang yang didelegasikan eksekutif kepada mereka. Ini tentang hak keputusan, dan apa yang terjadi ketika wewenang didelegasikan ke sistem yang tidak sepenuhnya bisa dilihat organisasi, apalagi dikendalikan.
Pada akhirnya, risikonya bukan bahwa agen AI akan berperilaku jahat. Melainkan, mereka akan berperilaku persis seperti yang dikonfigurasi, dalam sistem yang tidak pernah dirancang untuk identitas non-manusia.
Selama bertahun-tahun, perusahaan membangun model keamanan di sekitar pekerja manusia. Karyawan direkrut, diberi kredensial, dipantau, dan akhirnya dilepas saat mereka keluar. Manajemen identitas memungkinkan ini: Ini cara organisasi memverifikasi siapa karyawan, apa yang bisa mereka hubungi, dan apa yang diizinkan mereka lakukan.
Agen AI merusak model itu. Mereka tidak login jam 9 pagi dan logout jam 5 sore. Mereka beroperasi terus-menerus di berbagai sistem dan lingkungan cloud. Mereka bisa mengambil data sensitif, memicu proses keuangan, atau membuat keputusan yang berhubungan dengan pelanggan dalam hitungan detik.
Tapi perusahaan masih memperlakukan agen sebagai perangkat lunak latar belakang, bukan pelaku operasional dengan wewenang nyata.
Penelitian terbaru dari Gravitee, platform manajemen API, menemukan bahwa hanya 22% organisasi yang memperlakukan agen AI sebagai identitas independen, bahkan sementara hampir 90% perusahaan melaporkan insiden keamanan yang diduga atau dikonfirmasi melibatkan agen AI.
Bayangkan skenario umum: Sebuah perusahaan memperkenalkan agen AI internal untuk merampingkan administrasi karyawan. Seorang pekerja meminta agen untuk mengajukan cuti, memperbarui detail penggajian, dan memberi tahu manajernya. Agen itu secara otomatis terhubung ke sistem HR, platform keuangan, dan alat kolaborasi untuk menyelesaikan permintaan.
Pikirkan berapa banyak sistem yang perlu diakses agen untuk menyelesaikan permintaanya. Izin apa yang dimilikinya? Titik akses apa yang digunakannya, atau mungkin terbuka? Bagaimana jika ada yang salah?
Peningkatan efisiensinya nyata. Tapi kecuali setiap langkah diatur oleh kontrol identitas yang jelas, perusahaan mungkin tidak tahu persis wewenang apa yang didelegasikan dan cara mencampuri saat ada masalah.
Inilah mengapa kesenjangan identitas adalah masalah kepemimpinan, bukan hanya teknis.
Model akses tradisional berasumsi peran yang relatif stabil dan perilaku manusia yang bisa diprediksi. Agen AI beroperasi melalui tugas dinamis dan wewenang yang didelegasikan. Mereka mungkin memerlukan izin sementara yang sangat spesifik untuk melakukan satu tindakan, lalu langsung beralih ke alur kerja berikutnya.
Tanpa kemampuan untuk terus memverifikasi dan mengotorisasi setiap langkah, organisasi berisiko mengumpulkan semakin banyak aktor non-manusia dengan akses luas dan terus-menerus—yang, dalam banyak kasus, tidak pernah sengaja diberikan—ke sistem kritis.
Kita sudah melihat ini terjadi, saat organisasi mulai mendorong kode yang dihasilkan AI dan tindakan otomatis ke lingkungan langsung, sering lebih cepat daripada kemampuan model tata kelola mengikuti. Insiden baru-baru ini, seperti pelanggaran chatbot McDonald’s di mana kontrol yang lemah mengekspos jutaan data pelamar, atau saat agen kode AI di Replit menghapus database produksi langsung, menunjukkan seberapa cepat celah ini bisa berubah menjadi bencana dunia nyata.
Agen AI yang dikonfigurasi untuk mengoptimalkan keputusan rantai pasok bisa memicu komitmen pembelian berskala besar. Agen layanan pelanggan bisa mengekspos informasi akun sensitif. Agen pelaporan keuangan mungkin menyebarkan informasi sensitif dari berbagai sumber ke banyak orang.
Semua contoh ini akan berakar dari otonomi yang dikelola dengan buruk.
Regulator mulai bertindak. Di beberapa pasar seperti Singapura dan Australia, pembuat kebijakan menekankan bahwa organisasi bertanggung jawab atas sistem otomatis mereka.
Itu menjadi tantangan kepatuhan bagi pemimpin bisnis. Bagaimana cara membuktikan sistem mana yang memulai keputusan? Bagaimana cara menunjukkan bahwa aksesnya sesuai pada saat tindakan dilakukan? Bagaimana cara menghentikan atau mencabut wewenang jika agen berperilaku tidak terduga?
Untuk mengamankan agen AI, organisasi harus bisa menjawab tiga pertanyaan mendasar: Di mana agen saya berada, apa yang bisa mereka hubungi, dan apa yang diizinkan mereka lakukan?
Untungnya, perusahaan tidak perlu menciptakan hal baru. Mereka sudah punya praktik yang dibutuhkan untuk mengelola agen AI: Eksekutif hanya perlu memperlakukan mereka kurang lebih sama seperti memperlakukan karyawan manusia.
Secara praktis, ini berarti menerapkan disiplin keamanan tenaga kerja yang mapan ke konteks operasional baru. Organisasi memerlukan manajemen siklus hidup untuk agen. Mereka perlu mendefinisikan cakupan dan durasi izinnya, memantau aktivitas secara terus-menerus, dan memerlukan otorisasi tambahan untuk tindakan berisiko tinggi. Daripada akses luas dan berjangka panjang, agen harus beroperasi dengan kredensial tepat waktu yang terikat pada tugas spesifik.
Organisasi yang berhasil dalam adopsi AI bukanlah mereka yang menerapkan AI paling banyak, atau bahkan AI paling cerdas. Mereka akan menjadi organisasi yang menerapkannya dengan kejelasan tentang siapa yang berwenang bertindak, dan cara yang andal untuk membuktikannya. Itulah cara mengubah AI dari eksperimen—atau risiko—menjadi aset sejati.
Pendapat yang diungkapkan dalam artikel komentar Fortune.com adalah pandangan penulisnya saja dan tidak serta merta mencerminkan pendapat dan keyakinan Fortune.