Nvidia membuat pengumuman yang mengejutkan pada Malam Natal: kesepakatan senilai $20 miliar untuk melisensi teknologi startup chip AI, Groq, dan membawa sebagian besar timnya, termasuk pendiri dan CEO Jonathan Ross. Langkah ini menunjukkan bahwa Nvidia tidak lagi berasumsi bahwa GPU mereka akan menjadi satu-satunya chip yang berguna untuk fase besar berikutnya dalam penerapan AI: menjalankan model AI yang sudah dilatih untuk melakukan segalanya, dari menjawab pertanyaan dan membuat kode hingga menganalisis gambar—sebuah proses yang dikenal sebagai inference—dan melakukannya dalam skala besar.
Kesepakatan dengan Groq meningkatkan posisi startup lain yang membangun chip AI mereka sendiri, termasuk Cerebras, D-Matrix, dan SambaNova—yang dilaporkan telah menandatangani *term sheet* untuk diakuisisi oleh Intel—serta pemain baru seperti startup chip asal Inggris, Fractile. Hal ini juga mengangkat startup platform software *inference* AI seperti Etched, Fireworks, dan Baseten, memperkuat valuasi mereka dan membuat mereka menjadi target akuisisi yang lebih menarik pada tahun 2026, menurut analis, pendiri, dan investor.
Karl Freund, pendiri dan analis utama di Cambrian-AI Research, menunjuk D-Matrix yang didukung Microsoft, yang mengumpulkan dana $275 juta bulan lalu dengan valuasi $2 miliar. Seperti Groq, D-Matrix fokus untuk menukar sebagian fleksibilitas GPU Nvidia dengan kecepatan dan efisiensi yang lebih besar saat menjalankan model AI. “Saya yakin D-Matrix adalah startup yang cukup senang sekarang,” kata Freund. “Saya curiga putaran pendanaan berikutnya mereka akan berada pada valuasi yang jauh lebih tinggi.”
Cerebras, perusahaan chip lain yang fokus pada *inference*, juga tampaknya berada di posisi yang baik. Dikenal karena chip “*wafer-scale*” seukuran piring makan yang dirancang untuk menjalankan model yang sangat besar pada satu keping silikon, Cerebras telah mengajukan untuk IPO setelah penundaan sebelumnya. Freund mengatakan perusahaan itu semakin sering dipandang sebagai target akuisisi potensial juga. “Kamu tidak ingin menunggu sampai setelah IPO, ketika harganya lebih mahal,” katanya. “Dari perspektif itu, Cerebras berada di posisi yang sangat baik saat ini.”
Kesepakatan Nvidia-Groq telah memperjelas arah pasar
Para eksekutif di perusahaan-perusahaan ini mengatakan langkah Nvidia telah membantu memperjelas arah pasar. “Ketika [kesepakatan Nvidia-Groq] terjadi, kami berkata, ‘Akhirnya, pasar mengakuinya,’” kata Sid Sheth, CEO D-Matrix, kepada Fortune. “Saya pikir apa yang sebenarnya dilakukan Nvidia adalah mereka berkata, Oke, pendekatan ini adalah pendekatan yang menang.”
Dan CEO Cerebras Andrew Feldman mem-posting di X bahwa, di masa lalu, persepsi bahwa GPU Nvidia adalah semua yang dibutuhkan untuk AI bertindak sebagai *parit*, mencegah startup chip AI menggerogoti pangsa pasar Nvidia. Tetapi parit itu sekarang hilang dengan kesepakatan Groq, tulis Feldman. “Itu mencerminkan realitas industri yang berkembang—pasar *inference* sedang terfragmentasi, dan kategori baru telah muncul di mana kecepatan bukanlah sekadar fitur—melainkan seluruh proposisi nilai. Proposisi nilai yang hanya dapat dicapai oleh arsitektur chip yang berbeda dari GPU.”
Meski begitu, tidak semua orang yakin bahwa setiap startup chip *inference* akan mendapat manfaat yang sama. Matt Murphy, seorang partner di Menlo Ventures, mengatakan sektor chip tetap menjadi area yang sulit bagi investor ventura, mengingat kebutuhan modal yang tinggi dan waktu pengembangan yang lama. “Banyak *VC* berhenti berinvestasi di chip 10 atau 15 tahun yang lalu,” kata Murphy. “Ini intensif modal; butuh bertahun-tahun untuk meluncurkan produk; dan hasilnya sulit diprediksi.”
Namun demikian, dia menunjuk Fireworks, sebuah platform *inference* AI yang mengumpulkan $250 juta dengan valuasi $4 miliar pada Oktober, sebagai startup yang memiliki keunggulan teknis, berkat tim pendiri yang dipenuhi insinyur yang membangun PyTorch. Tetapi dia menambahkan bahwa masih belum jelas seberapa banyak antusiasme saat ini mencerminkan diferensiasi teknis yang asli. “Sulit untuk membedakan siapa yang benar-benar memiliki sesuatu yang signifikan versus situasi di mana air pasang mengangkat semua perahu, yang tampaknya sedang terjadi,” katanya, seraya menambahkan bahwa konsolidasi di seluruh sektor sekarang tampak semakin mungkin.
Pendatang baru ingin mendisrupsi *secara sungguhan*
Tapi setidaknya satu veteran di dunia *hardware* AI berpendapat bahwa startup yang fokus pada *inference* saat ini pun tidak benar-benar mendisrupsi.
Naveen Rao, mantan SVP AI di Databricks dan pendiri MosaicML, baru-baru ini meninggalkan Databricks untuk mendirikan Unconventional AI, yang bulan lalu mengonfirmasi putaran *seed* besar senilai $475 juta yang dipimpin oleh Andreessen Horowitz dan Lightspeed Ventures. Kritiknya: Perusahaan seperti Groq, D-Matrix, dan Cerebras mungkin berada di posisi yang baik di pasar saat ini, tetapi mereka masih mengoptimalkan dalam paradigma komputasi digital yang sama.
Setelah kesepakatan Nvidia dengan Groq memvalidasi permintaan untuk *inference* yang lebih cepat dan efisien, startup yang cocok dengan *stack* AI saat ini tiba-tiba terlihat jauh lebih berharga—bukan karena mereka menemukan kembali komputasi, kata Rao, tetapi karena mereka bekerja di dalamnya. Unconventional AI mengejar jalan yang lebih radikal: membangun *hardware* baru yang memanfaatkan perilaku fisik silikon itu sendiri, dan mendesain ulang *neural network* agar sesuai dengannya.
“Kami telah membangun mesin fundamental yang sama selama 80 tahun, sebuah mesin digital numerik,” katanya. “Tetapi tidak pernah ada satu *workload* pun yang mendominasi bahkan lebih dari 2% dari semua siklus komputasi.” Itu sedang berubah, jelasnya: Dalam beberapa tahun, 95% dari semua komputasi akan digunakan untuk AI.
Dari sudut pandang itu, penting untuk membangun mesin yang sepenuhnya berbeda dari yang dibangun saat ini, katanya. Namun, Rao mengatakan upaya itu bisa memakan waktu lima tahun atau lebih untuk membuahkan hasil—dan tidak dimaksudkan untuk memanfaatkan *boom inference* saat ini.