Sebuah studi terbaru dari MIT menunjukkan bahwa model AI yang paling besar dan intensif secara komputasi mungkin akan segera menawarkan hasil yang menurun dibandingkan dengan model yang lebih kecil. Dengan memetakan hukum penskalaan terhadap peningkatan efisiensi model yang berkelanjutan, para peneliti menemukan bahwa akan semakin sulit untuk mendapat lonjakan kinerja dari model-model raksasa, sementara peningkatan efisiensi dapat membuat model yang dijalankan pada perangkat keras yang lebih sederhana menjadi semakin mampu dalam dekade mendatang.
“Dalam lima hingga sepuluh tahun ke depan, segala sesuatunya sangat mungkin mulai menyempit,” ujar Neil Thompson, seorang ilmuwan komputer dan profesor di MIT yang terlibat dalam studi tersebut.
Lonjakan efisiensi, seperti yang terlihat pada model DeepSeek yang berbiaya sangat rendah pada bulan Januari, telah menjadi pengingat bagi industri AI, yang terbiasa menghabiskan sumber daya komputasi dalam jumlah masif.
Dalam keadaan saat ini, model terdepan dari perusahaan seperti OpenAI jelas jauh lebih baik daripada model yang dilatih dengan sebagian kecil sumber daya komputasi dari lab akademik. Meskipun prediksi tim MIT mungkin tidak berlaku jika, misalnya, metode pelatihan baru seperti *reinforcement learning* menghasilkan temuan baru yang mengejutkan, mereka menyarankan bahwa perusahaan AI besar akan memiliki keunggulan yang lebih kecil di masa depan.
Hans Gundlach, seorang ilmuwan peneliti di MIT yang memimpin analisis ini, tertarik pada masalah ini karena sifatnya yang rumit dalam menjalankan model-model mutakhir. Bersama dengan Thompson dan Jayson Lynch, ilmuwan peneliti lain di MIT, ia memetakan kinerja masa depan model terdepan dibandingkan dengan yang dibangun dengan sarana komputasi yang lebih sederhana. Gundlach mengatakan tren yang diprediksi ini sangat terlihat untuk model penalaran yang kini sedang tren, yang lebih mengandalkan komputasi tambahan selama *inference*.
Thompson mengatakan hasil ini menunjukkan nilai dari mempertajam sebuah algoritma sekaligus meningkatkan skala komputasi. “Jika Anda mengeluarkan banyak uang untuk melatih model-model ini, maka Anda seharusnya juga mengalokasikan sebagiannya untuk mengembangkan algoritma yang lebih efisien, karena hal itu dapat sangat berpengaruh,” tambahnya.
Studi ini sangat menarik mengingat booming infrastruktur AI saat ini (atau haruskah kita sebut “gelembung”?)—yang hampir tidak menunjukkan tanda-tanda melambat.
OpenAI dan perusahaan teknologi AS lainnya telah menandatangani kesepakatan ratusan miliar dolar untuk membangun infrastruktur AI di Amerika Serikat. “Dunia membutuhkan lebih banyak komputasi,” presiden OpenAI, Greg Brockman, memyatakan pekan ini saat mengumumkan kemitraan antara OpenAI dan Broadcom untuk chip AI khusus.
Semakin banyak pakar yang mempertanyakan kelayakan kesepakatan ini. Sekitar 60 persen dari biaya membangun pusat data dialokasikan untuk GPU, yang cenderung cepat mengalami penyusutan nilai. Kemitraan antara pemain utama juga tampak melingkar dan tidak transparan.