Pusat perhatian utama dalam pekerjaan perusahaan saat ini adalah mengotomatisasi tugas-tugas manusia untuk efisiensi yang lebih besar. Raksasa komputer IBM mempertanyakan dalam penelitian terbarunya apakah kecerdasan buatan generatif, seperti model bahasa besar (LLM), dapat menjadi batu loncatan menuju otomatisasi.
Disebut “SNAP”, kerangka perangkat lunak yang diusulkan oleh IBM melatih LLM untuk menghasilkan prediksi tindakan berikutnya dalam proses bisnis berdasarkan semua peristiwa sebelumnya. Prediksi-prediksi tersebut dapat digunakan sebagai saran untuk langkah-langkah yang dapat diambil oleh bisnis.
“SNAP dapat meningkatkan kinerja prediksi aktivitas berikutnya untuk berbagai set data BPM [manajemen proses bisnis],” tulis Alon Oved dan rekan-rekannya di IBM Research dalam sebuah makalah terbaru berjudul SNAP: Semantic Stories for Next Activity Prediction, yang diterbitkan minggu ini di server pra-cetak arXiv.
Karya IBM ini hanya satu contoh dari tren menggunakan LLM untuk mencoba memprediksi peristiwa atau tindakan berikutnya dalam suatu rangkaian. Para sarjana telah melakukan penelitian dengan apa yang disebut data deret waktu – data yang mengukur variabel yang sama pada waktu yang berbeda untuk menemukan tren. Karya IBM tidak menggunakan data deret waktu, tetapi ia fokus pada konsep peristiwa berurutan dan hasil yang mungkin.
SNAP adalah akronim dari “cerita semantik untuk prediksi aktivitas berikutnya”. Prediksi aktivitas berikutnya (bagian NAP dari SNAP) adalah area penelitian sistem yang sudah ada sejak beberapa dekade. NAP biasanya menggunakan bentuk-bentuk AI yang lebih tua untuk memprediksi apa yang akan terjadi selanjutnya setelah semua langkah-langkah hingga saat itu telah dimasukkan, biasanya dari catatan bisnis, yang dikenal sebagai “process mining”.
Elemen cerita semantik dalam SNAP adalah bagian yang ditambahkan oleh IBM ke dalam kerangka kerja tersebut. Ideanya adalah menggunakan kekayaan bahasa dalam program seperti GPT-3 untuk melampaui aktivitas-aktivitas program AI tradisional. Model bahasa dapat menangkap lebih banyak detail dari proses bisnis dan mengubahnya menjadi “cerita” yang koheren dalam bahasa alami.
Program AI yang lebih tua tidak dapat menangani semua data tentang proses bisnis, tulis Oved dan timnya. Mereka “hanya menggunakan urutan aktivitas sebagai masukan untuk menghasilkan model klasifikasi,” dan “jarang atribut numerik dan kategoris tambahan diperhitungkan dalam kerangka kerja tersebut untuk prediksi.”
Di sisi lain, LLM dapat mengambil banyak detail dan membentuknya menjadi sebuah cerita. Contohnya adalah aplikasi pinjaman. Proses aplikasi tersebut terdiri dari beberapa langkah. LLM dapat diberikan berbagai item dari basis data tentang jumlah pinjaman, seperti “jumlah = $20.000” dan “tanggal mulai permintaan = 20 Agustus 2023”.
Data-data tersebut dapat secara otomatis diformat oleh LLM menjadi narasi dalam bahasa alami, misalnya:
“Jumlah pinjaman yang diminta adalah $20.000, dan diminta oleh pelanggan. Aktivitas ‘Registrasi Aplikasi’ berlangsung pada giliran 6, yang terjadi 12 hari setelah kasus dimulai […]”
Sistem SNAP melibatkan tiga langkah. Pertama, sebuah template untuk cerita dibuat. Kemudian, template tersebut digunakan untuk membangun sebuah narasi lengkap. Dan akhirnya, cerita-cerita tersebut digunakan untuk melatih LLM untuk memprediksi peristiwa berikutnya yang akan terjadi dalam cerita.
SNAP dari IBM dapat mengambil daftar atribut dari proses bisnis dan mengubahnya menjadi narasi melalui kecerdasan buatan generatif, yang kemudian dapat digunakan untuk memprediksi perkembangan yang paling mungkin selanjutnya.
Pada langkah pertama, atribut-atribut seperti jumlah pinjaman diumpankan ke dalam model bahasa, bersama dengan contoh tentang bagaimana atribut tersebut dapat diubah menjadi template, yang merupakan kerangka untuk sebuah cerita. Model bahasa diberitahu untuk melakukan hal yang sama untuk set atribut baru, dan ia menghasilkan sebuah template baru.
Pada langkah kedua, template baru tersebut dimasukkan ke dalam model bahasa dan diisi oleh model sebagai sebuah cerita lengkap dalam bahasa alami.
Langkah terakhir adalah memberikan banyak cerita semacam itu ke dalam LLM untuk melatihnya memprediksi apa yang akan terjadi selanjutnya. Kesimpulan dari kombinasi cerita-cerita tersebut adalah contoh-contoh pelatihan “kebenaran dasar”.
Dalam penelitian mereka, Oved dan tim menguji apakah SNAP lebih baik dalam memprediksi aksi berikutnya dibandingkan dengan program AI yang lebih tua. Mereka menggunakan empat set data yang tersedia untuk umum, termasuk database kejadian TI dari perusahaan pembuat mobil Volvo, database catatan proses perizinan lingkungan, dan kumpulan kasus sumber daya manusia imajiner.
Para penulis menggunakan tiga “model bahasa dasar”: GPT-3 dari OpenAI, BERT dari Google, dan DeBERTa dari Microsoft. Mereka mengatakan ketiga model tersebut “menghasilkan hasil yang lebih baik dibandingkan dengan referensi yang sudah mapan”.
Menariknya, meskipun GPT-3 lebih kuat daripada kedua model lainnya, kinerjanya dalam pengujian relatif sederhana. Mereka menyimpulkan bahwa “bahkan LFMs open-source yang relatif kecil seperti BERT memiliki hasil SNAP yang solid dibandingkan dengan model-model besar.”
Para penulis juga menemukan bahwa kalimat lengkap dari model bahasa tampaknya berpengaruh pada kinerja.
“Mengapa struktur cerita semantik penting?” tanya mereka, sebelum menyimpulkan: “Desain cerita semantik yang koheren dan benar tata bahasa dari catatan proses bisnis merupakan langkah kunci dalam algoritme SNAP.”
Mereka membandingkan cerita dari GPT-3 dan model-model lainnya dengan pendekatan yang berbeda di mana mereka hanya menggabungkan informasi yang sama menjadi satu rangkaian teks yang panjang. Mereka menemukan bahwa pendekatan pertama, yang menggunakan kalimat-kalimat lengkap dan tata bahasa, memiliki akurasi yang jauh lebih tinggi daripada sekadar rangkaian atribut.
Para penulis menyimpulkan bahwa kecerdasan buatan generatif berguna dalam membantu mengeksplorasi semua data tentang proses yang tidak dapat ditangkap oleh AI tradisional: “Hal ini sangat berguna di mana ruang fitur kategoris sangat besar, seperti ucapan pengguna dan atribut teks bebas lainnya.”
Namun, keuntungan dari SNAP akan berkurang ketika menggunakan set data yang tidak memiliki banyak informasi semantik – dengan kata lain, detail tertulis.
“Temuan utama dalam penelitian ini adalah bahwa kinerja SNAP meningkat dengan jumlah informasi semantik dalam set data,” tulis mereka.
Secara penting, untuk pendekatan SNAP, para penulis menyiratkan bahwa set data kemungkinan akan semakin ditingkatkan oleh teknologi-teknologi baru, seperti otomasi proses robotik, “di mana ucapan pengguna dan sistem sering kali mengandung informasi semantik yang kaya yang dapat digunakan untuk meningkatkan akurasi prediksi.”