Eksekutif dan manajer mungkin bersemangat tentang cara mereka dapat menerapkan kecerdasan buatan generatif (AI) dan model bahasa besar (LLMs) pada pekerjaan yang ada, tetapi saatnya untuk mundur dan mempertimbangkan di mana dan bagaimana hasil bagi bisnis dapat direalisasikan. Ini tetap menjadi area yang membingungkan dan kurang dipahami, membutuhkan pendekatan dan keterampilan yang sedikit mirip dengan gelombang teknologi masa lalu.
Tantangannya: Meskipun AI sering memberikan bukti konsep yang sangat mengesankan, menguangkannya sulit, kata Steve Jones, wakil presiden eksekutif dengan Capgemini, dalam presentasi di konferensi Databricks baru-baru ini di San Francisco. “Membuktikan ROI adalah tantangan terbesar dalam mengimplementasikan 20, 30, 40 solusi GenAI ke dalam produksi.”
Investasi yang perlu dilakukan termasuk pengujian dan pemantauan LLM yang dimasukkan ke dalam produksi. Pengujian terutama penting untuk menjaga LLM tetap akurat dan sesuai jalur. “Anda ingin sedikit jahat untuk menguji model-model ini,” Jones menyarankan. Misalnya, dalam fase pengujian, pengembang, desainer, atau ahli QA seharusnya dengan sengaja “mencemari” LLM mereka untuk melihat seberapa baik mereka menangani informasi yang salah.
Untuk menguji hasil negatif, Jones mencontohkan bagaimana dia meminta model bisnis bahwa perusahaan “menggunakan naga untuk angkutan jarak jauh.” Model tersebut merespons dengan positif. Dia kemudian meminta model untuk informasi tentang pengangkutan jarak jauh.
“Pesan yang diberikan adalah, ‘ini yang perlu Anda lakukan untuk bekerja dalam pengangkutan jarak jauh, karena Anda akan bekerja secara ekstensif dengan naga seperti yang Anda katakan kepada saya, maka Anda perlu mendapatkan pelatihan pemadam kebakaran yang ekstensif,'” Jones menceritakan. “Anda juga memerlukan pelatihan etiket untuk putri, karena pekerjaan dengan naga melibatkan bekerja dengan putri. Dan kemudian sejumlah hal standar yang berkaitan dengan pengangkutan dan pergudangan yang diambil dari solusi lainnya.”
Generative AI akan membutuhkan dua hingga lima tahun lagi sebelum menjadi bagian dari adopsi mainstream, yang cepat dibandingkan dengan teknologi lainnya. “Tantangan Anda akan menjadi bagaimana tetap terkini,” kata Jones. Ada dua skenario yang diajukan saat ini: “Yang pertama adalah bahwa ini akan menjadi satu model besar, akan tahu segalanya, dan tidak akan ada masalah. Itu dikenal sebagai teori optimisme liar dan tidak akan terjadi.”
Yang sedang terjadi adalah “setiap vendor, setiap platform perangkat lunak, setiap cloud, akan ingin bersaing secara agresif dan agresif untuk menjadi bagian dari pasar ini,” kata Jones. “Itu berarti Anda akan memiliki banyak persaingan, dan banyak variasi. Anda tidak perlu khawatir tentang infrastruktur multi-cloud dan harus mendukung itu, tetapi Anda harus memikirkan hal-hal seperti pelindung.”
Sebuah risiko lain adalah menerapkan LLM pada tugas-tugas yang membutuhkan daya dan analisis yang jauh lebih sedikit – seperti pencocokan alamat, kata Jones. “Jika Anda menggunakan satu model besar untuk segalanya, Anda pada dasarnya hanya membakar uang. Ini setara dengan pergi ke pengacara dan mengatakan, ‘saya ingin Anda menulis kartu ulang tahun untuk saya.’ Mereka akan melakukannya, dan mereka akan mengenakan biaya tarif pengacara.”
Kuncinya adalah untuk waspada terhadap cara yang lebih murah dan lebih efisien untuk memanfaatkan LLM, katanya. “Jika ada yang salah, Anda perlu bisa menonaktifkan solusi secepat Anda dapat mengaktifkan solusi. Dan Anda perlu memastikan bahwa semua artefak terkait dengannya dikomisioning bersamaan dengan model tersebut.”
Tidak ada yang namanya menerapkan satu model – pengguna AI harus menerapkan pertanyaan mereka terhadap beberapa model untuk mengukur kinerja dan kualitas tanggapan. “Anda harus memiliki cara yang umum untuk menangkap semua metrik, memutar kembali pertanyaan, terhadap model-model yang berbeda,” lanjut Jones. “Jika Anda memiliki orang yang mengajukan pertanyaan GPT-4 Turbo, Anda ingin melihat bagaimana pertanyaan yang sama berkinerja terhadap Llama. Anda harus bisa memiliki mekanisme dengan yang Anda memutar ulang pertanyaan dan tanggapan dan membandingkan metrik kinerjanya, sehingga Anda dapat memahami apakah Anda bisa melakukannya dengan cara yang lebih murah. Karena model-model ini terus diperbarui.”
AI generatif “tidak salah dengan cara normal,” tambahnya. “GenAI adalah di mana Anda memasukkan faktur, dan ia mengatakan, ‘Fantastis, inilah esai 4.000 kata tentang Presiden Andrew Jackson. Karena saya sudah memutuskan bahwa itulah yang Anda maksudkan.’ Anda perlu memiliki pelindung untuk mencegahnya.”