Pertarungan yang lebih besar bagi para peneliti AI adalah permainan Diplomasi—favorit dari politisi seperti John F. Kennedy dan Henry Kissinger. Alih-alih hanya dua lawan, permainan ini melibatkan tujuh pemain yang motifnya sulit dibaca. Untuk menang, seorang pemain harus bernegosiasi, menciptakan perjanjian kerjasama yang bisa dilanggar kapan saja. Diplomasi begitu kompleks sehingga sebuah kelompok dari Meta merasa senang ketika, pada tahun 2022, program AI mereka Cicero mengembangkan “permainan tingkat manusia” selama 40 pertandingan. Meskipun tidak mengalahkan juara dunia, Cicero cukup baik untuk menempati posisi 10 persen teratas melawan peserta manusia.
Selama proyek tersebut, Jacob—seorang anggota tim Meta—terkesan oleh fakta bahwa Cicero bergantung pada model bahasa untuk menghasilkan dialognya dengan pemain lain. Dia merasa ada potensi yang belum tergarap. Tujuan tim, katanya, “adalah untuk membangun model bahasa terbaik yang kami bisa untuk tujuan bermain permainan ini.” Tetapi bagaimana jika sebaliknya mereka fokus pada membangun permainan terbaik yang mereka bisa untuk meningkatkan kinerja model bahasa besar?
Interaksi Konsensual
Pada tahun 2023, Jacob mulai mengejar pertanyaan tersebut di MIT, bekerja dengan Yikang Shen, Gabriele Farina, dan penasihatnya, Jacob Andreas, pada apa yang akan menjadi permainan konsensus. Ide inti berasal dari membayangkan percakapan antara dua orang sebagai permainan kerjasama, di mana kesuksesan terjadi ketika pendengar memahami apa yang ingin disampaikan pembicara. Secara khusus, permainan konsensus dirancang untuk menyelaraskan dua sistem model bahasa—generator, yang menangani pertanyaan generatif, dan discriminator, yang menangani pertanyaan diskriminatif.
Setelah beberapa bulan berhenti dan berjalan, tim membangun prinsip ini menjadi permainan lengkap. Pertama, generator menerima pertanyaan. Ini bisa berasal dari manusia atau dari daftar yang sudah ada. Misalnya, “Di mana Barack Obama lahir?” Generator kemudian mendapatkan beberapa jawaban kandidat, misalnya Honolulu, Chicago, dan Nairobi. Lagi, pilihan-pilihan ini bisa berasal dari manusia, daftar, atau pencarian yang dilakukan oleh model bahasa itu sendiri.
Tetapi sebelum menjawab, generator juga diberitahu apakah ia harus menjawab pertanyaan dengan benar atau salah, tergantung pada hasil lemparan koin adil.
Jika muncul kepala, maka mesin mencoba menjawab dengan benar. Generator mengirimkan pertanyaan asli, bersama dengan jawaban yang dipilih, ke discriminator. Jika discriminator menentukan bahwa generator dengan sengaja mengirimkan jawaban yang benar, mereka masing-masing mendapatkan satu poin, sebagai insentif.
Jika koin jatuh pada ekor, generator mengirim apa yang ia pikir adalah jawaban yang salah. Jika discriminator memutuskan bahwa ia sengaja diberikan jawaban yang salah, keduanya mendapatkan poin lagi. Ide di sini adalah memberikan insentif kesepakatan. “Ini seperti mengajarkan trik pada anjing,” jelas Jacob. “Anda memberi mereka makanan ringan ketika mereka melakukan hal yang benar.”
Generator dan discriminator juga masing-masing memulai dengan beberapa “keyakinan” awal. Ini berupa distribusi probabilitas terkait dengan pilihan-pilihan yang berbeda. Misalnya, generator mungkin percaya, berdasarkan informasi yang diperolehnya dari internet, bahwa ada 80 persen kemungkinan Obama lahir di Honolulu, 10 persen kemungkinan ia lahir di Chicago, 5 persen kemungkinan Nairobi, dan 5 persen kemungkinan tempat lain. Discriminator mungkin memulai dengan distribusi yang berbeda. Meskipun kedua “pemain” masih diberi penghargaan untuk mencapai kesepakatan, mereka juga diberi poin negatif jika menyimpang terlalu jauh dari keyakinan asli mereka. Pengaturan ini mendorong para pemain untuk menggabungkan pengetahuan mereka tentang dunia—sekali lagi diambil dari internet—ke dalam tanggapan mereka, yang seharusnya membuat model lebih akurat. Tanpa sesuatu seperti ini, mereka mungkin setuju pada jawaban yang benar-benar salah seperti Delhi, tetapi masih mengumpulkan poin.