Selama empat tahun terakhir, ilmuwan komputer Trieu Trinh telah terobsesi dengan masalah meta-matematika: bagaimana membangun model Kecerdasan Buatan (AI) yang dapat memecahkan masalah geometri dari Olimpiade Matematika Internasional, kompetisi tahunan untuk siswa sekolah menengah yang paling terampil dalam matematika. Minggu lalu, Dr. Trinh berhasil mempertahankan disertasinya tentang topik ini di Universitas New York; minggu ini, dia menjelaskan hasil kerjanya dalam jurnal Nature. Diberi nama AlphaGeometry, sistem ini dapat memecahkan masalah geometri Olimpiade hampir sebaik peserta manusia yang meraih medali emas.
Saat mengembangkan proyek ini, Dr. Trinh memperkenalkannya kepada dua peneliti di Google, dan mereka mengajaknya bergabung sebagai resident dari 2021 hingga 2023. AlphaGeometry menjadi bagian dari jajaran sistem AI Google DeepMind yang terkenal karena menangani tantangan besar. Salah satunya adalah AlphaZero, sebuah algoritma pembelajaran mendalam yang berhasil menguasai catur pada tahun 2017. Matematika merupakan masalah yang lebih sulit, karena jumlah kemungkinan jalur menuju solusi terkadang tak terhingga; sedangkan catur selalu memiliki batas.
“Selama ini saya terus menemui jalan buntu, masuk ke jalan yang salah,” kata Dr. Trinh, penulis utama dan pendorong utama proyek ini.
Para co-author dari makalah ini adalah pembimbing doktoral Dr. Trinh, He He, di Universitas New York; Yuhuai Wu, yang dikenal sebagai Tony, salah satu pendiri xAI (dulu di Google) yang pada tahun 2019 mulai secara independen mengeksplorasi ide serupa; Thang Luong, penyelidik utama, dan Quoc Le, keduanya dari Google DeepMind.
Ketekunan Dr. Trinh membuahkan hasil. “Kami tidak membuat perbaikan bertahap,” katanya. “Kami membuat lompatan besar, terobosan besar dalam hal hasil.”
“Jangan terlalu dibesar-besarkan,” katanya.
Terobosan besar
Dr. Trinh menguji AlphaGeometry dengan 30 masalah geometri Olimpiade yang diambil dari tahun 2000 hingga 2022. Sistem ini berhasil memecahkan 25 masalah; secara historis, selama periode yang sama, peserta manusia rata-rata yang meraih medali emas memecahkan 25,9 masalah. Dr. Trinh juga memberikan masalah-masalah tersebut kepada sistem yang dikembangkan pada tahun 1970-an yang dikenal sebagai pembuktian teorema geometri terkuat; sistem tersebut hanya dapat memecahkan 10 masalah.
Dalam beberapa tahun terakhir, Google DeepMind telah mengejar sejumlah proyek yang menyelidiki penerapan AI dalam matematika. Dan secara lebih luas dalam ranah penelitian ini, masalah-masalah matematika Olimpiade telah diadopsi sebagai ukuran; OpenAI dan Meta AI telah mencapai beberapa hasil. Untuk motivasi tambahan, ada I.M.O. Grand Challenge, dan tantangan baru yang diumumkan pada bulan November, yaitu Artificial Intelligence Mathematical Olympiad Prize, dengan hadiah sebesar $5 juta untuk AI pertama yang memenangkan medali emas Olimpiade.
Makalah AlphaGeometry dimulai dengan pernyataan bahwa membuktikan teorema Olimpiade “merupakan tonggak penting dalam penalaran otomatis setara dengan tingkat manusia.” Michael Barany, sejarawan matematika dan ilmu pengetahuan di Universitas Edinburgh, mengatakan dia bertanya-tanya apakah itu merupakan tonggak matematika yang bermakna. “Apa yang diuji oleh I.M.O. sangat berbeda dengan apa yang disebut matematika kreatif bagi sebagian besar matematikawan,” katanya.
Terence Tao, seorang ahli matematika di Universitas California, Los Angeles – dan peserta termuda yang pernah meraih medali emas Olimpiade, saat berusia 12 tahun – mengatakan dia menganggap AlphaGeometry sebagai “pekerjaan bagus” dan telah mencapai “hasil yang sangat kuat secara mengejutkan.” Menyempurnakan sistem AI untuk memecahkan masalah Olimpiade mungkin tidak akan meningkatkan kemampuan penelitian mendalamnya, katanya, tetapi dalam kasus ini perjalanan mungkin lebih berharga daripada tujuannya.
Menurut Dr. Trinh, penalaran matematika hanya merupakan salah satu jenis penalaran, tetapi memiliki keunggulan dalam hal dapat diverifikasi dengan mudah. “Matematika adalah bahasa kebenaran,” katanya. “Jika Anda ingin membangun AI, penting untuk membangun AI yang dapat dipercaya, yang mencari kebenaran, terutama untuk aplikasi yang kritis.”
Bukti konsep
AlphaGeometry adalah sistem “neuro-simbolik.” Ia menggabungkan model bahasa jaringan saraf (baik dalam hal intuisi buatan, seperti ChatGPT tetapi lebih kecil) dengan mesin simbolik (baik dalam hal penalaran buatan, seperti kalkulator logika, dalam beberapa hal).
Dan sistem ini dibuat khusus untuk geometri. “Geometri Euklides adalah tempat uji yang baik untuk penalaran otomatis, karena merupakan domain yang mandiri dengan aturan tetap,” kata Heather Macbeth, seorang ahli geometri di Universitas Fordham dan seorang ahli dalam penalaran terverifikasi komputer. (Sebagai remaja, Dr. Macbeth memenangkan dua medali I.M.O.) AlphaGeometry “terlihat menjadi kemajuan yang baik,” katanya.
Sistem ini memiliki dua fitur yang sangat baru. Pertama, jaringan saraf hanya dilatih dengan data yang dihasilkan secara algoritma – sebanyak 100 juta bukti geometri – tanpa menggunakan contoh manusia. Penggunaan data sintetis yang dibuat dari awal mengatasi hambatan dalam pembuktian teorema otomatis: kurangnya data pelatihan bukti manusia yang dapat diubah menjadi bahasa yang dapat dibaca mesin. “Sejujurnya, pada awalnya saya ragu tentang bagaimana ini akan berhasil,” kata Dr. He.
Kedua, setelah AlphaGeometry diberikan masalah, mesin simbolik mulai memecahkannya; jika terjebak, jaringan saraf memberikan saran cara melengkapi argumen pembuktian. Loop ini berlanjut hingga solusi muncul, atau hingga waktu habis (empat setengah jam). Dalam bahasa matematika, proses pelengkapan ini disebut “konstruksi tambahan.” Tambahkan garis, bagi sudut, gambar lingkaran – inilah cara matematikawan, baik siswa maupun elit, bereksperimen dan mencoba memahami masalah. Dalam sistem ini, jaringan saraf belajar melakukan konstruksi tambahan, dan dengan cara yang mirip dengan manusia. Dr. Trinh menyamakannya dengan melingkarkan karet di sekitar tutup toples yang sulit agar tangan mendapatkan pegangan yang lebih baik.
“Ini adalah bukti konsep yang sangat menarik,” kata Christian Szegedy, salah satu pendiri xAI yang sebelumnya di Google. Tetapi itu “membuka banyak pertanyaan,” katanya, dan tidak “mudah digeneralisasi ke domain dan bidang matematika lainnya.”
Dr. Trinh mengatakan dia akan mencoba menggeneralisasi sistem ini di berbagai bidang matematika dan di luar matematika. Dia mengatakan ingin melangkah mundur dan mempertimbangkan “prinsip mendasar yang sama” dari semua jenis penalaran.
Stanislas Dehaene, seorang neurosains kognitif di Collège de France yang memiliki minat penelitian dalam pengetahuan geometri dasar, mengatakan dia terkesan dengan kinerja AlphaGeometry. Tetapi dia mencatat bahwa “sistem ini tidak ‘melihat’ apa pun tentang masalah yang diselesaikannya” – sebaliknya, sistem ini hanya menerima penjelasan logis dan numerik tentang gambar. (Gambar dalam makalah tersebut adalah untuk kepentingan pembaca manusia.) “Tidak ada persepsi spasial sama sekali terhadap lingkaran, garis, dan segitiga yang dipelajari sistem ini,” kata Dr. Dehaene. Para peneliti setuju bahwa komponen visual mungkin berharga; Dr. Luong mengatakan hal itu bisa ditambahkan, mungkin dalam waktu setahun, menggunakan Gemini Google, sistem “multimodal” yang mencakup teks dan gambar.
Solusi yang berjiwa
Pada awal Desember, Dr. Luong mengunjungi sekolah menengah lamanya di Kota Ho Chi Minh, Vietnam, dan menunjukkan AlphaGeometry kepada mantan gurunya dan pelatih I.M.O., Le Ba Khanh Trinh. Dr. Lê adalah peserta medali emas terbaik di Olimpiade 1979 dan memenangkan hadiah khusus untuk solusi geometri yang elegan. Dr. Lê memeriksa salah satu bukti AlphaGeometry dan menemukannya luar biasa namun kurang memuaskan, kata Dr. Luong: “Dia menganggapnya mekanis, dan mengatakan bahwa itu tidak memiliki jiwa, keindahan solusi yang dia cari.”
Dr. Trinh sebelumnya meminta Evan Chen, seorang mahasiswa doktoral matematika di M.I.T. – dan pelatih I.M.O. dan pemegang medali emas Olimpiade – untuk memeriksa beberapa karya AlphaGeometry. Hasilnya benar, kata Mr. Chen, dan dia menambahkan bahwa dia tertarik dengan bagaimana sistem ini menemukan solusi-solusinya.
“Saya ingin tahu bagaimana mesin ini menemukan solusi ini,” katanya. “Tapi, maksud saya, sebenarnya saya ingin tahu