Gambar: Nikada/E+/Getty Images
Ikuti ZDNET: Tambahkan kami sebagai sumber pilihan di Google.
**Intisari ZDNET**
– Adopsi agen AI di kalangan bisnis berkembang dengan pesat.
– Namun, pengembangan protokol keamanan justru tertinggal.
– Deloitte merekomendasikan penerapan prosedur pengawasan.
Bisnis-bisnis meningkatkan penggunaan agen AI lebih cepat daripada membangun pagar pengaman yang memadai, menurut laporan terbaru Deloitte *State of AI in the Enterprise*.
Diterbitkan pada Rabu dan berdasarkan survei terhadap lebih dari 3.200 pemimpin bisnis di 24 negara, studi ini menemukan bahwa 23% perusahaan saat ini menggunakan agen AI “setidaknya secara moderat.” Namun, angka ini diproyeksikan melonjak menjadi 74% dalam dua tahun ke depan. Sebaliknya, porsi perusahaan yang melaporkan tidak menggunakannya sama sekali, saat ini 25%, diperkirakan akan menyusut menjadi hanya 5%.
**Baca juga:** 43% pekerja mengaku telah membagikan info sensitif ke AI – termasuk data keuangan dan klien
Namun, kebangkitan agen – alat AI yang dilatih untuk menjalankan tugas multi-langkah dengan sedikit pengawasan manusia – di tempat kerja tidak diiringi dengan pagar pengaman yang memadai. Hanya sekitar 21% responden yang menyatakan kepada Deloitte bahwa perusahaan mereka saat ini memiliki mekanisme keamanan dan pengawasan yang kuat untuk mencegah potensi kerugian yang disebabkan oleh agen.
“Mengingat trajektori adopsi teknologi yang cepat, ini bisa menjadi keterbatasan yang signifikan,” tulis Deloitte dalam laporannya. “Seiring agen AI berkembang dari pilot ke penerapan produksi, membangun tata kelola yang kokoh harus menjadi hal penting untuk mendapatkan nilai sekaligus mengelola risiko.”
Apa yang Bisa Salah?
Perusahaan seperti OpenAI, Microsoft, Google, Amazon, dan Salesforce memasarkan agen sebagai alat peningkat produktivitas, dengan ide inti bahwa bisnis dapat mendelegasikan operasi tempat kerja yang repetitif dan berisiko rendah kepada mereka, sementara karyawan manusia fokus pada tugas yang lebih penting.
**Baca juga:** Bad vibes: Ketika sebuah agen AI memprogram jalannya sendiri menuju bencana
Namun, otonomi yang lebih besar membawa risiko yang lebih besar. Tidak seperti chatbot yang lebih terbatas, yang memerlukan *prompting* yang hati-hati dan konstan, agen dapat berinteraksi dengan berbagai alat digital untuk, misalnya, menandatangani dokumen atau melakukan pembelian atas nama organisasi. Ini meninggalkan ruang kesalahan yang lebih lebar, karena agen dapat berperilaku dengan cara yang tak terduga – kadang dengan konsekuensi yang fatal – dan rentan terhadap serangan *prompt injection*.
Pandangan Lebih Luas
Laporan baru Deloitte bukanlah yang pertama menunjukkan bahwa adopsi AI melampaui aspek keamanan.
Satu studi yang diterbitkan pada Mei menemukan bahwa sebagian besar (84%) profesional TI yang disurvei mengatakan pemberi kerja mereka sudah menggunakan agen AI, sementara hanya 44% yang mengatakan mereka memiliki kebijakan untuk mengatur aktivitas sistem tersebut.
**Baca juga:** Cara OpenAI mempertahankan ChatGPT Atlas dari serangan sekarang – dan mengapa keamanan tidak terjamin
Studi lain yang diterbitkan pada September oleh *National Cybersecurity Alliance* mengungkap bahwa meskipun semakin banyak orang menggunakan alat AI seperti ChatGPT setiap hari, termasuk di tempat kerja, sebagian besar melakukannya tanpa pernah menerima pelatihan keamanan apa pun dari pemberi kerja mereka (misalnya, tentang risiko privasi yang menyertai penggunaan chatbot).
Dan pada Desember, Gallup menerbitkan hasil jajak pendapat yang menunjukkan bahwa meskipun penggunaan alat AI di kalangan pekerja individu meningkat sejak tahun sebelumnya, hampir seperempat (23%) responden mengatakan mereka tidak tahu apakah pemberi kerja mereka menggunakan teknologi tersebut di tingkat organisasi.
Kesimpulan
Tentu saja, tidak adil untuk menuntut para pemimpin bisnis memiliki pagar pengaman yang benar-benar anti peluru di sekitar agen AI pada tahap yang sangat dini ini. Teknologi selalu berevolusi lebih cepat daripada pemahaman kita tentang bagaimana ia bisa salah, dan akibatnya, kebijakan di setiap level cenderung tertinggal di belakang penerapan.
**Baca juga:** Bagaimana undang-undang keamanan AI negara bagian ini mengubah wajah regulasi di AS
Hal ini terutama berlaku untuk AI, mengingat besarnya *hype* budaya dan tekanan ekonomi yang mendorong pengembang teknologi untuk merilis model baru dan pemimpin organisasi untuk mulai menggunakannya, bisa dibilang belum pernah terjadi sebelumnya.
Tapi studi-studi awal seperti laporan baru Deloitte *State of Generative AI in the Enterprise* mengindikasikan apa yang sangat mungkin menjadi jurang berbahaya antara penerapan dan keamanan, seiring industri meningkatkan penggunaan agen dan alat AI kuat lainnya.
**Baca juga:** 96% profesional TI mengatakan agen AI adalah risiko keamanan, tapi mereka tetap menerapkannya
Untuk saat ini, pengawasan harus menjadi kata kunci: Bisnis perlu menyadari risiko yang terkait dengan penggunaan internal agen, dan memiliki kebijakan serta prosedur untuk memastikan mereka tidak keluar jalur – dan, jika itu terjadi, kerugian yang dihasilkan dapat dikelola.
“Organisasi perlu menetapkan batasan yang jelas untuk otonomi agen, mendefinisikan keputusan mana yang dapat dibuat agen secara independen versus yang memerlukan persetujuan manusia,” rekomendasi Deloitte dalam laporan barunya. “Sistem pemantauan *real-time* yang melacak perilaku agen dan menandai anomali sangat penting, demikian pula jejak audit yang menangkap seluruh rantai tindakan agen untuk membantu memastikan akuntabilitas dan memungkinkan perbaikan berkelanjutan.”