Ekaterina Demidova/Moment via Getty Images
Ikuti ZDNET: Tambahkan kami sebagai sumber pilihan di Google.
**Poin Penting ZDNET**
* Perusahaan sedang mengeksplorasi agen AI dengan berbagai cara.
* Para profesional harus mempertimbangkan bagaimana memanfaatkan teknologi ini.
* Pengukuran, kolaborasi, dan eksperimen adalah kunci.
Agen AI akan mempengaruhi setiap peran profesional. Jika perusahaan Anda belum mulai menggunakan agen, maka akan segera melakukannya, baik melalui produk perangkat lunak siap pakai maupun alat internal yang memanfaatkan model bahasa besar dan sumber data.
Para profesional yang mengeksplorasi pemanfaatan agen dalam peran mereka sangat disarankan untuk mencari panduan praktik terbaik. Salah satu sumber informasinya adalah Joel Hron, CTO di Thomson Reuters Labs, yang membantu perusahaan layanan informasi tersebut memanfaatkan AI generatif, pembelajaran mesin, dan teknologi agen.
Baca juga: Khawatir agen AI akan menggantikan Anda? 5 cara mengubah kecemasan menjadi tindakan di tempat kerja
Hron menyampaikan kepada ZDNET bahwa Thomson Reuters menggunakan kombinasi model internal dan alat siap pakai untuk mendorong inovasi AI-nya. Selain kemajuan dari lab frontier perusahaan teknologi besar, Hron dan timnya memastikan firma tersebut memanfaatkan pengetahuan dan aset proprieter mereka.
“Jika Anda melihat inti dari apa yang kami lakukan dengan baik, itu adalah kemampuan untuk mensintesis keahlian dan informasi manusia menjadi pertimbangan yang dapat disajikan kembali kepada para profesional,” ujarnya.
“Mekanisme penyampaian keahlian itu saat ini sedang berevolusi. Secara tradisional, disampaikan melalui perangkat lunak. Namun semakin banyak disampaikan melalui agen, atau agen ditambah perangkat lunak.”
Hron menyoroti beberapa pencapaian agen utama di Thomson Reuters, termasuk alat penelitian hukum berbasis AI Westlaw Advantage dan agen Deep Research perusahaan yang meninjau wawasan dan menyusun strategi layaknya seorang peneliti.
Baca juga: Studi MIT temukan agen AI itu cepat, longgar, dan tak terkendali
Dari eksplorasi ini, Hron mengatakan dia mempelajari empat pelajaran utama yang dapat digunakan profesional untuk membangun sistem AI agen yang terpercaya.
1. Ukur Kesuksesan Anda
Hron menyatakan area pertama yang perlu difokuskan adalah evaluasi: “Anda perlu tahu seperti apa ‘bagus’ itu.”
Meski fokus pada evaluasi terdengar sebagai keharusan yang jelas, Hron mengatakan ini adalah proses yang sulit untuk dilakukan dengan benar, untuk dikuantifikasi, dan untuk disistematisasikan.
“Kami telah mengatakan selama tiga tahun terakhir bahwa ini adalah salah satu hal terpenting untuk membangun sistem AI yang baik, dan itu tetap berlaku hari ini di era agen,” katanya.
Hron: “Kami masih menginginkan kepercayaan dari para ahli manusia kami.” Thomson Reuters
Tim Hron melacak dan mengukur kesuksesan agen dengan beberapa cara. Pertama, mereka memanfaatkan benchmark publik, yang menurutnya memberikan indikator awal yang baik tentang potensi kinerja positif model baru.
Baca juga: 5 taktik keamanan yang tidak boleh salah diterapkan bisnis Anda di era AI — dan mengapa itu kritis
Kedua, mereka mengembangkan benchmark internal mereka sendiri dengan arahan kuat untuk evaluasi otomatis: “Alih-alih hanya bertanya, ‘Seberapa dekat jawaban yang dihasilkan dengan jawaban yang baik?’, proses kami adalah benar-benar mendefinisikan, ‘Apa yang membuat jawaban itu baik?'”
Akhirnya, Thomson Reuters menjaga manusia tetap dalam lingkaran, memastikan evaluasi melangkah lebih jauh dari penilaian otomatis.
“Evaluasi otomatis membantu mendorong roda gila lebih cepat bagi tim pengembangan kami, dan mereka dapat menguji banyak ide dengan relatif cepat, dan itu bagus. Tapi sebelum kami meluncurkan, kami masih menginginkan kepercayaan dari para ahli manusia kami dan penilaian mereka terhadap kinerja,” tuturnya.
“Ketergantungan berkelanjutan pada pendekatan itu memungkinkan kami meluncurkan produk hebat yang berkinerja baik di pasar. Saya pikir masukan manusia adalah bahan kritis bagi kami untuk dapat melakukan pekerjaan itu dengan baik dan dengan percaya diri.”
2. Pertemukan Para Ahli
Hron menasihati para profesional untuk memahami secara mendalam apa yang dilakukan agen dan bagaimana mereka beroperasi dari waktu ke waktu.
“Mengaitkan erat kesadaran itu dengan pengalaman pengguna semakin penting,” katanya. “Jika Anda memikirkan sistem agen ini seperti kolaborator AI manusia, maka manusia dan agen memerlukan bahasa umum dan antarmuka umum yang mereka kerjakan.”
Baca juga: Mengapa agen AI perusahaan bisa menjadi ancaman internal utama
Hron mengatakan bahasa dan antarmuka umum ini harus memberikan wawasan berharga kepada manusia tentang proses pemikiran agen, dan sebaliknya.
“Area ini adalah pengalaman UI baru dan penting, dan saya pikir mengaitkan erat pemahaman teknis mendalam tentang agen dengan pengalaman pengguna yang baik adalah kritis.”
Sementara banyak ahli berbicara tentang pentingnya kopling manusia/agen, Hron mengatakan kunci suksesnya sederhana: menyatukan tim di dalam bisnis.
“Proses ini tidak ilmiah — ini tentang memaksa desainer saya untuk duduk bersama ilmuwan data dan membicarakan apa yang terjadi,” ujarnya. “Semakin dekat kami bisa membuat kedua kelompok orang itu, dan semakin sering mereka bisa duduk bersama, semakin baik Anda mendapat pertukaran pemikiran di kedua area tersebut.”
3. Kembangkan Kapabilitas yang Terbukti
Terlepas dari hype apa pun yang mungkin membuat Anda percaya sebaliknya, Hron mengatakan para profesional harus menyadari bahwa agen dan model yang mendukungnya jauh dari maha tahu.
Hron mengatakan model AI meningkat dalam tiga dimensi: menulis kode, mengeksekusi rencana, dan penalaran multi-langkah. Kemajuan terbaru memungkinkan kapabilitas model diperluas oleh alat perangkat lunak lain.
“Apa arti perkembangan itu bagi kami sebagai perusahaan lebih positif daripada negatif, karena itu berarti, jika kami dapat mengambil semua ratusan aplikasi yang telah kami jual ke pasar selama beberapa dekade, dan kami dapat menguraikannya, maka kami memiliki kapabilitas terbukti untuk profesional,” katanya.
Baca juga: 90% proyek AI gagal — ini 3 cara memastikan proyek Anda tidak
“Jika kami dapat menguraikan elemen-elemen ini sebagai alat untuk agen, maka kami sebenarnya memperluas kapabilitas model ini cukup banyak, dan itulah masa depan agen.”
Alih-alih melihat AI agen sebagai model maha tahu yang mencoba melakukan segalanya, Hron menasihati para profesional untuk memberi agen akses ke kapabilitas terbukti yang sudah digunakan orang, yang menjadi fokus timnya.
“Kami melihat sistem kami dan bertanya pada diri sendiri, ‘Oke, kami telah membangun ini untuk pengguna manusia selama bertahun-tahun. Sekarang, ergonomi apa yang dibutuhkan agar agen dapat bekerja dengan sistem ini? Bagaimana Anda mengadaptasi prosesnya agar kondusif untuk bekerja dengan agen, versus harus manusia dalam semua kasus? Dan apa arti pendekatan itu bagi tampilan, rasa, dan kinerja alat tersebut?'”
4. Melihat Meluar Firewall
Thomson Reuters Labs baru-baru ini meluncurkan Trust in AI Alliance, forum yang dipimpin pembuat untuk peneliti AI senior dari Anthropic, AWS, Google Cloud, OpenAI, dan Thomson Reuters untuk membahas bagaimana kepercayaan direkayasa ke dalam sistem agen.
Hron mengatakan Aliansi ini, yang membagikan pelajaran secara publik untuk menginformasikan percakapan industri yang lebih luas seputar AI yang dapat dipercaya, juga membantu anggota senior timnya untuk mempelajari praktik terbaik dari pelopor industri.
“Kami mencoba mengedepankan fokus pada kemampuan penjelasan dan transparansi dalam hal bagaimana model-model ini beroperasi,” katanya.
Baca juga: 5 cara Anda bisa berhenti menguji AI dan mulai menskalakannya dengan bertanggung jawab
Hron mengatakan para pelopor teknologi dan model mereka telah mengurangi secara signifikan waktu dan usaha yang dibutuhkan untuk beralih dari akurasi nol ke 90%.
“Tapi kami tidak berada dalam permainan 90%,” katanya. “Kami berada dalam permainan 99% dan 99,9%, dan kami harus mempertimbangkan bagaimana kami mendapatkan tambahan sembilan atau dua sembilan akurasi itu, yang merupakan perbedaan untuk kepercayaan.”
Sebagai bagian dari proses ini, Thomson Reuters juga bekerja dengan institusi akademik. Akhir tahun lalu, perusahaan mengumumkan kemitraan lima tahun untuk membuat Lab Penelitian AI Frontier bersama di Imperial College London.
“Dalam inisiatif ini, kami fokus pada dua sembilan terakhir akurasi itu, karena itulah yang orang cari beli dari kami saat kami merilis produk kami ke pasar,” kata Hron.
“Organisasi teknologi frontier akan terus mendorong batas apa yang mungkin. Tetapi bagi kami, marjin adalah di mana keunggulan kompetitif di dunia hukum, pajak, dan kepatuhan dimenangkan dan hilang. Dan itulah yang benar-benar perlu kami lakukan dengan benar.”