Versi asli artikel ini terbit di Quanta Magazine.
Di antara segudang kemampuan manusia, manakah yang benar-benar unik? Bahasa telah menjadi kandidat utama setidaknya sejak Aristoteles, yang menulis bahwa manusia adalah “hewan yang memiliki bahasa.” Meski model bahasa besar seperti ChatGPT secara superfisial meniru ucapan biasa, para peneliti ingin tahu apakah ada aspek spesifik bahasa manusia yang sama sekali tidak memiliki paralel dalam sistem komunikasi hewan lain atau perangkat kecerdasan buatan.
Secara khusus, para peneliti telah mengeksplorasi sejauh mana model bahasa dapat bernalar tentang bahasa itu sendiri. Bagi sebagian komunitas linguistik, model bahasa tidak hanya tidak memiliki kemampuan nalar, mereka *tidak* mampu. Pandangan ini diringkas oleh Noam Chomsky, seorang linguis terkemuka, dan dua rekan penulisnya pada 2023, ketika mereka menulis di The New York Times bahwa “penjelasan yang benar tentang bahasa itu rumit dan tidak dapat dipelajari hanya dengan berendam dalam data besar.” Model AI mungkin mahir menggunakan bahasa, kata para peneliti ini, tetapi mereka tidak mampu menganalisis bahasa dengan cara yang canggih.
Gašper Beguš, seorang linguis di University of California, Berkeley.
Foto: Jami Smith
Pandangan itu ditantang dalam sebuah makalah terbaru oleh Gašper Beguš, linguis di University of California, Berkeley; Maksymilian Dąbkowski, yang baru-baru ini meraih gelar doktor linguistik di Berkeley; dan Ryan Rhodes dari Rutgers University. Para peneliti menguji sejumlah model bahasa besar (LLM) melalui serangkaian tes linguistik—termasuk, dalam satu kasus, meminta LLM menggeneralisasi aturan bahasa buatan. Meski sebagian besar LLM gagal mengurai aturan linguistik dengan cara yang mampu dilakukan manusia, satu model menunjukkan kemampuan impresif yang jauh melampaui ekspektasi. Model itu mampu menganalisis bahasa dengan cara yang hampir sama dengan mahasiswa pascasarjana linguistik—membuat diagram kalimat, menyelesaikan makna ganda yang ambigu, dan memanfaatkan fitur linguistik rumit seperti rekursi. Temuan ini, kata Beguš, “menantang pemahaman kita tentang apa yang dapat dilakukan AI.”
Karya baru ini dinilai tepat waktu dan “sangat penting” oleh Tom McCoy, seorang linguis komputasional di Yale University yang tidak terlibat dalam penelitian. “Seiring masyarakat menjadi lebih bergantung pada teknologi ini, semakin penting untuk memahami di mana ia dapat berhasil dan di mana ia dapat gagal.” Analisis linguistik, tambahnya, adalah wadah uji yang ideal untuk mengevaluasi sejauh mana model bahasa ini dapat bernalar layaknya manusia.
Kompleksitas Tak Terhingga
Satu tantangan dalam memberikan tes linguistik yang ketat kepada model bahasa adalah memastikan mereka belum mengetahui jawabannya. Sistem ini biasanya dilatih dengan sejumlah besar informasi tertulis—bukan hanya sebagian besar internet, dalam puluhan bahkan ratusan bahasa, tetapi juga hal-hal seperti buku teks linguistik. Secara teori, model-model tersebut bisa saja menghafal dan memuntahkan informasi yang telah mereka serap selama pelatihan.
Untuk menghindari ini, Beguš dan rekannya menciptakan tes linguistik dalam empat bagian. Tiga dari empat bagian tersebut melibatkan permintaan kepada model untuk menganalisis kalimat yang dirancang khusus menggunakan diagram pohon, yang pertama kali diperkenalkan dalam buku landmark Chomsky tahun 1957, *Syntactic Structures*. Diagram ini memecah kalimat menjadi frasa kata benda dan frasa kata kerja, kemudian membaginya lagi menjadi kata benda, kata kerja, kata sifat, kata keterangan, preposisi, konjungsi, dan sebagainya.
Satu bagian tes berfokus pada rekursi—kemampuan untuk menyematkan frasa di dalam frasa. “Langit itu biru” adalah kalimat bahasa Inggris sederhana. “Jane berkata bahwa langit itu biru” menyematkan kalimat asli dalam struktur yang sedikit lebih kompleks. Yang penting, proses rekursi ini dapat berlanjut tanpa batas: “Maria bertanya-tanya apakah Sam tahu bahwa Omar mendengar bahwa Jane berkata bahwa langit itu biru” juga merupakan kalimat rekursif yang secara tata bahasa benar, meski terdengar janggal.