Sebuah tinjauan kinerja satu tahun terhadap agen AI yang diterapkan oleh McKinsey mengungkap beberapa pelajaran penting.
Kesimpulan Utama ZDNET:
- McKinsey menerapkan dan mengamati lebih dari 50 build AI agen selama satu tahun.
- Karyawan digital memerlukan banyak upaya untuk dapat beroperasi dengan lancar.
- Agen AI bukanlah jawaban terbaik untuk semua kebutuhan bisnis.
Banyak yang menganggap agen AI sebagai rekan kerja digital dalam tenaga kerja saat ini. Layaknya pekerja manusia, mereka seharusnya menjalani penilaian kinerja tahunan, bukan?
Tim McKinsey melakukan hal tersebut dengan merilis hasil tinjauan kinerja satu tahun terhadap agen-agen AI yang telah mereka implementasikan dan amati. Bagaimana kinerja karyawan digital ini di tahun pertama mereka? Kesimpulan tim McKinsey adalah: Mereka membutuhkan banyak pekerjaan untuk bisa berjalan lancar; mereka tidak selalu menjadi jawaban terbaik untuk setiap kebutuhan bisnis; dan rekan kerja manusia mereka tidak selalu terkesan dengan hasil kerja agen.
Laporan kemajuan yang ditulis oleh Lareina Yee, Michael Chui, dan Roger Roberts dari McKinsey ini mengkaji setidaknya 50 build AI agen yang dipimpin oleh penulis. Setelah satu tahun, mereka merumuskan enam pelajaran.
1. Agen berkinerja lebih baik dalam alur kerja
Menerapkan agen AI hanya untuk sekadar memilikinya tidaklah efektif. Lebih penting untuk menyuntikkan agen guna meningkatkan alur kerja. "Upaya AI agen yang berfokus pada mendefinisikan ulang seluruh alur kerja — yaitu langkah-langkah yang melibatkan orang, proses, dan teknologi — lebih mungkin memberikan hasil positif," menurut tinjauan tersebut. Mulailah dengan mengatasi titik-titik kritis pengguna.
2. Agen bukan selalu jawabannya
"Untuk menghindari investasi yang terbuang atau kompleksitas yang tidak diinginkan, perlakukan peran agen seperti saat mengevaluasi orang untuk tim yang berkinerja tinggi," saran para penulis. Pertanyaan kuncinya adalah, ‘Apa pekerjaan yang harus diselesaikan dan apa bakat relatif dari setiap calon anggota tim — atau agen — untuk bekerja sama mencapai tujuan tersebut?’ Jika AI agen terlalu berlebihan untuk suatu masalah, tetaplah pada opsi yang lebih sederhana.
3. ‘Slop’ AI telah menjadi masalah berulang
Salah satu masalah umum yang diamati adalah "sistem agen yang terkesan mengesankan dalam demo tetapi membuat frustrasi pengguna yang bertanggung jawab atas pekerjaan tersebut" — dengan output yang berkualitas rendah atau AI slop. Akibatnya, pengguna kehilangan kepercayaan. "Perusahaan harus berinvestasi besar-besaran dalam pengembangan agen, seperti halnya untuk pengembangan karyawan," rekomendasinya. Agen harus diberi deskripsi pekerjaan yang jelas dan umpan balik berkelanjutan.
4. Sulit melacak jumlah agen yang besar
"Ketika bekerja dengan hanya beberapa agen AI, meninjau pekerjaan dan menemukan kesalahan sebagian besar mudah," kata tim tersebut. "Tetapi saat perusahaan menggelar ratusan, atau bahkan ribuan agen, tugas itu menjadi menantang. Ketika ada kesalahan — dan akan selalu ada kesalahan — sulit untuk mengetahui secara persis apa yang salah." Pelajaran ini dipelajari dengan memverifikasi kinerja agen di setiap langkah alur kerja.
5. Agen menunjukkan nilai terbaik ketika dibagikan lintas fungsi
Agen bisa menjadi mahal dan berlebihan jika perancangnya membuat ulang untuk setiap tugas. "Perusahaan sering membuat agen unik untuk setiap tugas yang diidentifikasi," jelas tim McKinsey. "Ini dapat mengakibatkan redundansi dan pemborosan yang signifikan." Berinvestasi dalam agen yang dapat digunakan kembali membutuhkan identifikasi tugas-tugas yang berulang terlebih dahulu.
6. Agen tidak akan pernah bekerja sepenuhnya sendiri
Akan selalu ada kebutuhan bagi pekerja manusia untuk "mengawasi akurasi model, memastikan kepatuhan, menggunakan pertimbangan, dan menangani kasus-kasus khusus," tegas para penulis. Rancang ulang pekerjaan "sehingga orang dan agen dapat berkolaborasi dengan baik. Tanpa fokus itu, bahkan program agen paling canggih pun berisiko mengalami kegagalan tanpa terdeteksi."
Akibatnya, penilaian kinerja agen tahun depan mungkin juga tidak akan terlalu cemerlang.