Agen AI terbaru dari Google sedang belajar bagaimana untuk menavigasi ruang yang sudah dikenal: permainan. Raksasa teknologi tersebut merilis penelitian terbaru mengenai Scalable Instructable Multiworld Agent, atau SIMA, pada hari Rabu. Agen ini dapat mengikuti instruksi untuk melaksanakan tugas dalam permainan video — dan memainkan permainan yang belum pernah dilihat sebelumnya.
Namun, seperti Genie, yang dibahas oleh DeepMind, divisi penelitian AI Google, dalam makalah penelitian yang diterbitkan pada 23 Februari, SIMA merupakan proyek penelitian.
“Di masa depan, kita bisa memiliki agen seperti SIMA bermain bersama kamu,” kata Tim Harley, seorang insinyur penelitian di DeepMind yang memimpin proyek tersebut. “Agen yang kooperatif yang bisa kamu ajak bicara dan instruksikan untuk melakukan berbagai hal dalam permainan bersama kamu secara langsung.”
DeepMind mengatakan minatnya dalam permainan video sebagian karena mereka adalah medan latihan yang baik bagi sistem AI. Perusahaan AI tersebut berharap penelitian seperti ini memungkinkan mereka untuk “memahami bagaimana sistem AI dapat menjadi lebih membantu.”
Sejak OpenAI merilis ChatGPT pada November 2022, pasar telah dibanjiri dengan alat AI generatif dari Microsoft, Google, Adobe, Meta, dan Anthropic. Baru-baru ini, AI generatif telah berkembang dari penulisan untuk mencakup gambar, video, musik, dan tentu saja, permainan saat perusahaan teknologi mencari cara untuk membedakan penawarannya di ruang yang berkembang pesat.
Tujuan Penelitian
Menurut Harley, SIMA dilatih untuk melakukan apa yang diperintahkan, yang tidak selalu berarti memenangkan permainan.
Pertanyaan utama para peneliti dari awal adalah apakah agen AI dapat mentransfer keterampilan antar permainan dan bagaimana perilakunya dalam permainan yang belum pernah dimainkan sebelumnya.
“Tujuan-tujuan tersebut datang dalam bahasa alami bebas bentuk dari seorang pengguna manusia dan kemudian [SIMA] bertindak dalam lingkungan permainan video ini hanya menggunakan antarmuka alami permainan,” ujar Harley. “Dan satu-satunya cara agen dapat mengamati permainan ini hanyalah dari layar secara real-time.”
Pelatihan
Peneliti merekam gambar dan input keyboard dan mouse dari pemain manusia dan menggunakan teknik pembelajaran tiru untuk mengajarkan SIMA bermain permainan seperti No Man’s Sky, Eco, Teardown, dan Goat Simulator seperti yang dilakukan manusia.
Mereka mengevaluasi agen ini pada 600 keterampilan, termasuk navigasi (seperti “belok kiri”), interaksi objek (“naik tangga”), dan penggunaan menu (“buka peta”) dan menemukan bahwa SIMA tampil lebih baik daripada spesialis permainan.
“Dia dapat memanfaatkan konsep-konsep bersama antar permainan, untuk belajar keterampilan yang lebih baik dan untuk belajar menjadi lebih baik dalam melaksanakan instruksi-instruksi tersebut,” kata Frederic Besse, insinyur penelitian DeepMind. “Melihat transfer positif antar permainan merupakan tonggak penting bagi penelitian ini.”
Namun, SIMA tidak sempurna.
“Semua kesalahan yang kami lihat berkaitan dengan pemahaman yang lebih halus,” ujar Harley. “Jadi jika kita meminta agen untuk menebang pohon dalam permainan Valheim, dia akan pergi dan menebang pohon, tetapi kita tidak dapat secara tepat menentukan pohon mana.”
Dia enggan menyebut ketidaksempurnaan SIMA sebagai “halusinasi.”
“Seringkali apa yang kita lihat ketika agen gagal… Saya tidak akan menyebutnya halusinasi, perilakatnya terlihat sengaja sebagian besar waktu, tetapi dia gagal untuk melaksanakan perilaku yang diperlukan,” tambahnya.
‘Suatu Medan Latihan yang Hebat’
Dari sini, DeepMind berharap untuk meningkatkan kinerja SIMA, termasuk membuat agennya mampu mengikuti instruksi yang lebih rinci, dan pada akhirnya mengembangkan sistem AI “yang dapat bertindak di banyak lingkungan dan mencapai berbagai tujuan serta berbicara dengan pengguna,” kata Besse.
Namun, bukan hanya tentang komunikasi manusia-agen dalam permainan.
“Kami percaya bahwa permainan dan simulasi secara umum memberikan medan latihan yang hebat bagi sistem AI,” ujar Besse.
Sebagian karena permainan merupakan pendekatan dunia nyata. Mereka memiliki keberagaman visual, bersama dengan pengaturan, mekanika, dan gaya grafis yang beragam. Namun mereka juga memiliki tema-tema umum, seperti menavigasi ruang yang rumit dan berinteraksi dengan objek, karakter, dan pemain.