Manusia bisa berbuat salah; memaafkan itu mulia. Tapi untuk agen AI otonom yang mengerjakan tugas-tugas manusia, berapa batas kesalahan yang diperbolehkan?
Di acara Brainstorm AI Fortune baru-baru ini di San Francisco, para ahli membahas pertanyaan itu. Mereka berbagi cara perusahaan mereka menangani keamanan dan tata kelola—isu yang bahkan lebih mendesak daripada tantangan praktis seperti data dan daya komputasi. Banyak perusahaan berlomba memasukkan agen AI ke alur kerja agar bisa bekerja otonom dengan sedikit pengawasan manusia. Tapi banyak yang menghadapi paradoks yang memperlambat adopsi: Bergerak cepat butuh kepercayaan, sementara membangun kepercayaan butuh waktu lama.
Dev Rishi, General Manager AI di Rubrik, bergabung musim panas lalu setelah perusahaannya mengakuisisi startup AI-nya, Predibase. Setelah itu, dia menghabiskan empat bulan bertemu eksekutif dari 180 perusahaan. Dari sana, dia membagi adopsi AI agenik jadi empat fase, katanya kepada audiens Brainstorm AI. (Agenik artinya sistem AI yang bekerja mandiri, bukan hanya menjawab perintah.)
Menurut Rishi, empat fase itu adalah: percobaan awal, saat perusahaan membuat purwarupa agen dan merencanakan tujuannya. Fase kedua paling sulit, yaitu saat agen berpindah dari purwarupa ke produksi kerja nyata. Fase ketiga adalah penskalaan agen otonom ke seluruh perusahaan. Fase keempat dan terakhir—yang belum dicapai siapapun—adalah AI yang sepenuhnya otonom.
Sekitar separuh dari 180 perusahaan ada di fase percobaan, temuan Rishi. 25% lagi sibuk memformalkan purwarupa, 13% sedang penskalaan, dan 12% sisanya belum mulai proyek AI. Namun, Rishi memproyeksikan perubahan dramatis dua tahun ke depan: Separuh perusahaan tadi berencana pindah ke fase dua.
“Saya rasa adopsi akan berjalan sangat cepat,” kata Rishi.
Tapi, ada risiko besar yang menghambat perusahaan bergerak “cepat dan keras” dalam menerapkan agen AI. Risiko nomor satu itu adalah keamanan dan tata kelola, ujarnya. Karena itu, perusahaan sulit beralih dari agen pencari informasi ke agen yang bisa bertindak.
“Fokus kami adalah mempercepat transformasi AI,” kata Rishi. “Saya pikir faktor risiko nomor satunya, hambatan terbesarnya, adalah risiko [itu sendiri].”
Mengintegrasikan agen ke tenaga kerja
Kathleen Peters, Chief Innovation Office di Experian, mengatakan perlambatan ini karena belum paham sepenuhnya risiko saat agen AI melanggar batasan yang ditetapkan perusahaan, dan langkah pengamanan yang diperlukan.
“Jika ada yang salah, jika AI berhalusinasi, jika listrik padam, apa yang bisa kita andalkan?” tanyanya. “Beberapa eksekutif, tergantung industrinya, ingin tahu ‘Bagaimana kami merasa aman?'”
Menurutnya, solusinya akan berbeda untuk setiap perusahaan, dan terutama rumit untuk industri yang sangat diatur. Chandhu Nair, Wakil Presiden Senior data, AI, dan inovasi di retailer Lowe’s, mencatat bahwa membuat agen itu “cukup mudah”, tapi orang tidak paham apa itu agen: Apakah mereka karyawan digital? Apakah itu tenaga kerja? Bagaimana cara membaurkannya ke dalam organisasi?
“Ini seperti mempekerjakan banyak orang tanpa fungsi HR,” kata Nair. “Jadi kami punya banyak agen, tanpa cara yang tepat untuk memetakannya. Itu fokus kami sekarang.”
Perusahaannya sedang mengkaji pertanyaan-pertanyaan itu, termasuk siapa yang bertanggung jawab jika ada masalah. “Sulit untuk melacaknya,” kata Nair.
Peters dari Experian memperkirakan beberapa tahun ke depan pertanyaan-pertanyaan itu akan banyak dibahas publik, sementara percakapan juga terjadi secara tertutup di ruang rapat dewan dan komite strategi.
“Saya rasa sesuatu yang buruk akan terjadi,” kata Peters. “Akan ada pelanggaran. Akan ada agen yang keluar jalur dengan cara tak terduga. Dan itu akan jadi berita utama yang sangat menarik.”
Masalah besar akan menarik banyak perhatian, lanjut Peters, dan risiko reputasi akan dipertaruhkan. Ini akan memaksa pembicaraan tidak nyaman tentang tanggung jawab atas perangkat lunak dan agen, dan kemungkinan berujung pada regulasi yang lebih ketat.
“Saya pikir itu akan menjadi bagian dari manajemen perubahan sosial kita dalam memikirkan cara kerja baru ini,” ujarnya.
Meski begitu, ada contoh nyata bagaimana AI bisa menguntungkan perusahaan jika diterapkan dengan cara yang sesuai dengan karyawan dan pelanggan.
Nair mengatakan Lowe’s melihat adopsi kuat dan ROI “nyata” dari AI yang telah tertanam dalam operasi perusahaan sejauh ini. Misalnya, dari 250.000 rekan toko mereka, masing-masing punya pendamping agen dengan pengetahuan produk yang luas di toko seluas 100.000 kaki persegi yang menjual peralatan listrik, cat, hingga perlengkapan pipa. Banyak karyawan baru Lowe’s bukanlah ahli perdagangan, kata Nair, dan pendamping agen telah menjadi “teknologi yang paling cepat diadopsi” sejauh ini.
“Penting untuk memilih kasus penggunaan yang benar-benar sesuai dengan kebutuhan pelanggan,” katanya.
Dalam mengemudi perubahan di toko-toko, “kalau produknya bagus dan bisa menambah nilai, adopsinya akan melonjak sangat cepat.”
Siapa yang mengawasi agen?
Tapi bagi karyawan di kantor pusat, teknik manajemen perubahannya harus beda, tambahnya, yang menambah kompleksitas.
Dan banyak perusahaan terhenti di pertanyaan awal lain, yaitu apakah mereka harus membuat agen sendiri atau bergantung pada kemampuan AI dari vendor perangkat lunak besar.
Rakesh Jain, direktur eksekutif untuk teknik cloud dan AI di sistem kesehatan Mass General Brigham, mengatakan organisasinya mengambil pendekatan tunggu dan lihat. Dengan platform besar seperti Salesforce, Workday, dan ServiceNow yang membangun agen mereka sendiri, bisa terjadi tumpang tindih jika organisasinya juga membuat agen sendiri.
“Jika ada kekurangan, maka kami ingin membangun agen sendiri,” kata Jain. “Kalau tidak, kami akan mengandalkan membeli agen dari vendor produk.”
Di bidang kesehatan, Jain bilang pengawasan manusia sangat penting karena risikonya tinggi.
“Kompleksitas pasien tidak bisa ditentukan hanya lewat algoritma,” katanya. “Harus ada manusia yang terlibat.” Dalam pengalamannya, agen bisa mempercepat pengambilan keputusan, tapi manusia harus yang memutuskan akhir, dengan dokter yang memvalidasi semuanya sebelum tindakan dilakukan.
Namun, Jain juga melihat potensi keuntungan besar seiring teknologi yang matang. Misalnya di radiologi, agen yang dilatih dengan keahlian banyak dokter bisa mendeteksi tumor di jaringan padat yang mungkin terlewat oleh satu radiolog. Tapi meski dengan agen yang dilatih oleh banyak dokter, “tetap harus ada pertimbangan manusianya,” kata Jain.
Dan ancaman agen yang melampaui batas, padahal seharusnya menjadi entitas terpercaya, selalu ada. Dia membandingkan agen nakal dengan penyakit autoimun, salah satu kondisi paling sulit untuk didiagnosis dan diobati karena ancamannya dari dalam. Jika agen di dalam sistem “menjadi korup,” katanya, “itu akan menyebabkan kerusakan besar yang belum bisa diukur.”
Meski banyak pertanyaan dan tantangan, Rishi bilang ada jalan ke depan. Dia menyebut dua syarat untuk membangun kepercayaan pada agen. Pertama, perusahaan butuh sistem yang memastikan agen beroperasi dalam batas kebijakan. Kedua, mereka butuh kebijakan dan prosedur yang jelas untuk ketika hal buruk terjadi—kebijakan yang tegas. Nair, menambah, menambahkan tiga faktor untuk membangun kepercayaan dan maju dengan bijak: identitas dan akuntabilitas serta mengetahui siapa agennya; mengevaluasi konsistensi kualitas hasil setiap agen; dan, meninjau jejak pasca-kejadian yang bisa menjelaskan mengapa dan kapan kesalahan terjadi.
“Sistem bisa buat kesalahan, sama seperti manusia juga,” kata Nair. “Tapi bisa menjelaskan dan memulihkan sama pentingnya.”