Kelompoknya memutuskan untuk mencari tahu. Mereka membangun versi baru dan terdiversifikasi dari AlphaZero, yang mencakup beberapa sistem kecerdasan buatan yang dilatih secara independen dan dalam berbagai situasi. Algoritma yang mengatur sistem secara keseluruhan bertindak sebagai semacam pencocok pasangan virtual, kata Zahavy: yang dirancang untuk mengidentifikasi agen mana yang memiliki peluang terbaik untuk berhasil saat saatnya melakukan gerakan. Dia dan rekan-rekannya juga menambahkan “bonus keberagaman”—sebuah hadiah untuk sistem setiap kali mengambil strategi dari berbagai pilihan.
Ketika sistem baru dilepaskan untuk bermain sendiri, tim melihat banyak variasi. Pemain AI yang terdiversifikasi bereksperimen dengan pembukaan baru yang efektif dan keputusan baru tetapi tepat tentang strategi tertentu, seperti kapan dan di mana untuk meroket. Dalam sebagian besar pertandingan, ia mengalahkan AlphaZero asli. Tim juga menemukan bahwa versi terdiversifikasi dapat memecahkan dua kali lipat teka-teki tantangan sebanyak AlphaZero asli dan dapat memecahkan lebih dari setengah total katalog teka-teki Penrose.
“Ideanya adalah daripada menemukan satu solusi, atau satu kebijakan tunggal, yang akan mengalahkan setiap pemain, di sini [menggunakan] ide keberagaman kreatif,” kata Cully.
Dengan akses ke lebih banyak permainan yang berbeda, kata Zahavy, AlphaZero yang terdiversifikasi memiliki lebih banyak opsi untuk situasi sulit ketika terjadi. “Jika Anda dapat mengendalikan jenis permainan yang ia lihat, Anda pada dasarnya mengendalikan bagaimana ia akan umumkan,” katanya. Hadiah intrinsik aneh itu (dan gerakan yang terkait) dapat menjadi kekuatan untuk perilaku yang beragam. Kemudian sistem dapat belajar menilai dan menghargai pendekatan yang berbeda dan melihat kapan mereka paling sukses. “Kami menemukan bahwa kelompok agen ini sebenarnya dapat mencapai kesepakatan tentang posisi-posisi ini.”
Dan, yang paling penting, implikasinya melampaui catur.
Kreativitas dalam Kehidupan Nyata
Cully mengatakan pendekatan terdiversifikasi dapat membantu sistem kecerdasan buatan apa pun, bukan hanya yang berbasis pada pembelajaran penguatan. Dia telah lama menggunakan keberagaman untuk melatih sistem fisik, termasuk robot enam kaki yang diperbolehkan untuk mengeksplorasi berbagai jenis gerakan, sebelum dia dengan sengaja “melukai” robot tersebut, memungkinkannya untuk terus bergerak menggunakan beberapa teknik yang telah dikembangkan sebelumnya. “Kami hanya mencoba menemukan solusi yang berbeda dari semua solusi sebelumnya yang kita temukan sejauh ini.” Baru-baru ini, dia juga telah bekerja sama dengan peneliti untuk menggunakan keberagaman untuk mengidentifikasi kandidat obat baru yang menjanjikan dan mengembangkan strategi perdagangan saham yang efektif.
“Tujuannya adalah menghasilkan koleksi besar dari ribuan solusi yang berbeda, di mana setiap solusi sangat berbeda dari yang lain,” kata Cully. Jadi—seperti halnya pemain catur yang terdiversifikasi belajar lakukan—untuk setiap jenis masalah, sistem secara keseluruhan dapat memilih solusi terbaik. Sistem kecerdasan buatan Zahavy, kata dia, jelas menunjukkan bagaimana “pencarian strategi yang beragam membantu berpikir di luar kotak dan menemukan solusi.”
Zahavy curiga bahwa untuk sistem kecerdasan buatan berpikir secara kreatif, peneliti hanya perlu membuat mereka mempertimbangkan lebih banyak opsi. Hipotesis itu menyarankan hubungan yang menarik antara manusia dan mesin: Mungkin kecerdasan hanya masalah daya komputasi. Bagi sistem kecerdasan buatan, mungkin kreativitas pada dasarnya berpusat pada kemampuan untuk mempertimbangkan dan memilih dari berbagai opsi yang cukup besar. Saat sistem mendapatkan imbalan untuk memilih berbagai strategi optimal, jenis pemecahan masalah kreatif semacam ini diperkuat dan diperkuat. Pada akhirnya, dalam teori, sistem tersebut dapat meniru jenis strategi pemecahan masalah kreatif apa pun yang diakui sebagai manusiawi. Kreativitas akan menjadi masalah komputasi.
Liemhetcharat mencatat bahwa sistem kecerdasan buatan yang terdiversifikasi tidak mungkin sepenuhnya menyelesaikan masalah generalisasi yang lebih luas dalam pembelajaran mesin. Tapi ini adalah langkah yang tepat. “Ini mengurangi salah satu kekurangan,” katanya.
Secara lebih praktis, hasil Zahavy sejalan dengan upaya terbaru yang menunjukkan bagaimana kerjasama dapat mengarah pada kinerja yang lebih baik dalam tugas-tugas sulit di antara manusia. Kebanyakan lagu di tangga lagu Billboard 100 ditulis oleh tim penulis lagu, misalnya, bukan perorangan. Dan masih ada ruang untuk perbaikan. Pendekatan yang beragam saat ini mahal secara komputasi, karena harus mempertimbangkan begitu banyak kemungkinan lebih dari sistem biasa. Zahavy juga tidak yakin bahwa bahkan AlphaZero yang terdiversifikasi menangkap seluruh spektrum kemungkinan.
“Saya masih [berpikir] masih ada ruang untuk menemukan solusi yang berbeda,” katanya. “Tidak jelas bagi saya bahwa dengan semua data di dunia, ada [hanya] satu jawaban untuk setiap pertanyaan.”