Selama setahun terakhir, insinyur perangkat lunak veteran Jay Prakash Thakur telah menghabiskan malam dan akhir pekannya dalam membuat prototipe agen AI yang nantinya dapat memesan makanan dan membuat aplikasi mobile hampir sepenuhnya sendiri. Agen-agen miliknya, meskipun memiliki kemampuan yang mengejutkan, juga telah mengungkap pertanyaan hukum baru yang menanti perusahaan yang mencoba memanfaatkan teknologi terbaru dari Silicon Valley. Agen adalah program AI yang dapat bertindak secara mandiri, memungkinkan perusahaan untuk mengotomatisasi tugas-tugas seperti menjawab pertanyaan pelanggan atau membayar tagihan. Sementara ChatGPT dan chatbot serupa dapat membuat email atau menganalisis tagihan sesuai permintaan, Microsoft dan perusahaan teknologi lainnya mengharapkan bahwa agen akan menangani fungsi-fungsi yang lebih kompleks – dan yang paling penting, melakukannya dengan sedikit pengawasan manusia. Rencana terbesar industri teknologi melibatkan sistem multi-agen, dengan puluhan agen suatu hari nanti bergabung untuk menggantikan seluruh angkatan kerja. Untuk perusahaan, manfaatnya jelas: menghemat waktu dan biaya tenaga kerja. Permintaan terhadap teknologi ini sudah meningkat. Peneliti pasar teknologi Gartner memperkirakan bahwa AI agentic akan menyelesaikan 80 persen pertanyaan layanan pelanggan umum pada tahun 2029. Fiverr, sebuah layanan di mana bisnis dapat memesan pengkode lepas, melaporkan bahwa pencarian untuk “ai agent” telah melonjak 18.347 persen dalam beberapa bulan terakhir. Thakur, seorang pengode yang sebagian besar belajar sendiri yang tinggal di California, ingin berada di garis depan dalam bidang yang sedang muncul. Pekerjaan sehari-harinya di Microsoft tidak terkait dengan agen, tetapi dia telah mencoba-coba dengan AutoGen, perangkat lunak open source Microsoft untuk membangun agen, sejak dia bekerja di Amazon kembali pada tahun 2024. Thakur mengatakan dia telah mengembangkan prototipe multi-agen menggunakan AutoGen dengan sedikit pemrograman. Minggu lalu, Amazon meluncurkan alat pengembangan agen serupa yang disebut Strands; Google menawarkan apa yang disebutnya sebagai Agent Development Kit. Karena agen dimaksudkan untuk bertindak secara mandiri, pertanyaan tentang siapa yang bertanggung jawab ketika kesalahan mereka menyebabkan kerugian keuangan telah menjadi kekhawatiran terbesar Thakur. Menetapkan kesalahan ketika agen dari perusahaan yang berbeda berkomunikasi dalam satu sistem besar bisa menjadi kontroversial, katanya. Dia membandingkan tantangan meninjau catatan kesalahan dari berbagai agen dengan merekonstruksi percakapan berdasarkan catatan orang-orang berbeda. “Seringkali tidak mungkin menentukan tanggung jawab,” kata Thakur. Joseph Fireman, penasihat hukum senior di OpenAI, mengatakan di atas panggung dalam konferensi hukum terbaru yang diselenggarakan oleh Media Law Resource Center di San Francisco bahwa pihak yang dirugikan cenderung menuntut pihak yang memiliki kantong terdalam. Itu berarti perusahaan seperti miliknya harus siap untuk bertanggung jawab ketika agen menyebabkan kerusakan – bahkan ketika seorang anak yang bermain-main dengan agen mungkin bersalah. (Jika orang itu bersalah, mereka kemungkinan besar tidak akan menjadi target yang berharga secara finansial, pemikiran tersebut berlanjut). “Saya tidak berpikir ada yang berharap bisa menghubungi konsumen yang duduk di ruang bawah tanah ibunya di komputer,” kata Fireman. Industri asuransi telah mulai mengeluarkan perlindungan untuk masalah chatbot AI untuk membantu perusahaan menutupi biaya kesalahan. Eksperimen Thakur melibatkan dia menggabungkan agen dalam sistem yang memerlukan sedikit campur tangan manusia. Satu proyek yang dia lakukan adalah menggantikan pengembang perangkat lunak lain dengan dua agen. Salah satunya dilatih untuk mencari alat khusus yang diperlukan untuk membuat aplikasi, dan yang lainnya merangkum kebijakan penggunaannya. Di masa depan, agen ketiga bisa menggunakan alat-alat yang diidentifikasi dan mengikuti kebijakan yang dirangkum untuk mengembangkan aplikasi baru sepenuhnya, kata Thakur. Ketika Thakur menguji prototipenya, agen pencarian menemukan alat yang, menurut situs webnya, “mendukung permintaan tanpa batas per menit untuk pengguna perusahaan” (artinya klien yang membayar tinggi dapat mengandalkannya sebanyak yang mereka inginkan). Tetapi dalam mencoba merangkum informasi penting, agen ringkasan itu melewatkan kualifikasi penting “per menit untuk pengguna perusahaan.” Ia dengan keliru memberitahu agen pemrograman, yang tidak memenuhi syarat sebagai pengguna perusahaan, bahwa ia bisa menulis program yang membuat permintaan tanpa batas ke layanan luar. Karena ini hanya ujian, tidak ada kerugian yang terjadi. Jika itu terjadi dalam kehidupan nyata, panduan yang dipotong itu bisa menyebabkan seluruh sistem tiba-tiba rusak.