Setelah bertahun-tahun balapan bikin model AI yang makin besar, peneliti dan penyedia infrastruktur sekarang lagi fokus ke masalah baru: gimana caranya bikin sistem itu murah supaya bisa dipake dalam skala besar.
Sara Hooker, pendiri dan CEO lab AI startup Adaption, bilang ke audiens di Fortune Brainstorm Tech hari Selasa bahwa kebanyakan AI sekarang itu yang dia sebut “monolitik”—atau macet di waktu. Maksudnya, begitu model udah di-training, kemampuan dan pengetahuannya bakal stuck. Kalo ada yang berubah di dunia, atau model belajar sesuatu yang berguna dari pengguna, pengetahuan itu nggak otomatis masuk ke model.
“Kita butuh model yang bisa berkembang,” jelasnya, “kalo nggak, jadinya ada pemborosan yang besar.”
Tapi untuk sekarang, ukuran model itu penting—dan model besar bakal tetap ada, kata Rodrigo Liang, CEO perusahaan chip AI SambaNova, meskipun bakal ada “banyak ruang buat model yang lebih efisien.” Untuk saat ini, jelasnya, pelanggan mesti berjuang dengan biaya scaling model; infrastruktur yang boros energi; dan nyari talenta AI yang cukup.
Tapi Hooker fokus ke langkah selanjutnya, bilang kita ada di “titik spesial dengan urgensi besar untuk mengubah kurva” atau ukuran model. Kebanyakan orang, katanya, secara naluriah ngerti bahwa kita nggak bisa pake model yang sama untuk semua masalah. “Mungkin 90% masalah itu gampang banget—contohnya, banyak hal yang diprose dalam jumlah besar, seharusnya kita nggak perlu pake model yang besar untuk itu.”
Dia bilang sistem AI masa depan harus bisa beradaptasi secara terus-menerus dengan informasi baru dan cepat rubah perilaku mereka, daripada ngandelin panggilan berulang ke model yang diam. Digital ini dia bilang yang bikin tagihan API banyak perusahaan naik drastis. Perusahaan sekarang lagi nerapin agen AI dalam skala gede, tapi agen itu sering nggak belajar dari kesalahan mereka, jadi perusahaan harus bayar berkali-kali—dalam perhitungan, panggilan API, dan biaya infrastruktur—untuk kesalahan yang sama.
Sementara developer model seperti Hooker fokus buat bikin sistem AI yang lebih canggih dan efisien, Liang bilang tanyaan mendesak industri adalah jalankan model daya besar saat ini dengan cukup efesien supaya penerapannya jadi masuk akal. Dia bilang model yang triliunan parameter masih terlalu mahal dan cepat kehabisan tenaga listrik, dan strategi SambaNova fokus ke pengirman inferensi yang cepat dengan pemakaian listrik rendah lewat hardware yang didesain khusus beban model besar.
“Kita sudah dua-tiga kali lipat lebih baik dari mesin Blackwrell dari Nvidia untuk model yang sama, dan kayaknya dengan skala gede, itu cara paling enggak buat nurunin ongkos,” katanya.
Lebih kurang dari acara otak Badai Ke-25 Fortune:
Anthropic’s Boris Cherny, pembuat Claude Code, katanya ada hari dia mengatur puluhan ribu AI