Jensen Huang dari Nvidia meremehkan persaingan, Micron kecewa

\”

Nvidia akan tetap menjadi standar emas untuk chip pelatihan kecerdasan buatan (AI), CEO Jensen Huang memberitahu para investor, meskipun pesaing berupaya untuk mengurangi pangsa pasarnya dan salah satu pemasok utama Nvidia memberikan proyeksi yang kurang optimis untuk penjualan chip AI.

Semua orang mulai dari OpenAI hingga Tesla milik Elon Musk mengandalkan semikonduktor Nvidia untuk menjalankan model bahasa atau visi komputer mereka yang besar. Peluncuran sistem “Blackwell” Nvidia nanti tahun ini hanya akan mengokohkan posisi unggul tersebut, kata Huang dalam pertemuan tahunan pemegang saham perusahaan pada hari Rabu.

Diperkenalkan pada bulan Maret, Blackwell adalah generasi berikutnya dari prosesor pelatihan AI yang mengikuti lini flagship “Hopper” Nvidia dengan chip H100—salah satu aset yang paling berharga di industri teknologi dengan harga puluhan ribu dolar setiap satu.

“Platform arsitektur Blackwell kemungkinan akan menjadi produk yang paling sukses dalam sejarah kami dan bahkan dalam sejarah komputer secara keseluruhan,” kata Huang.

Nvidia sejenak melampaui Microsoft dan Apple bulan ini untuk menjadi perusahaan terbesar di dunia dalam reli luar biasa yang telah menggerakkan sebagian besar kenaikan indeks S&P 500 tahun ini. Dengan nilai lebih dari $3 triliun, perusahaan Huang pada satu titik lebih berharga daripada keseluruhan ekonomi dan bursa saham, hanya untuk mengalami kerugian nilai pasar yang rekorn.

Namun selama chip Nvidia tetap menjadi patokan untuk pelatihan AI, tidak ada alasan untuk percaya bahwa pandangan jangka panjang adalah buram dan di sini fundamental terus terlihat kuat.

Salah satu keunggulan kunci Nvidia adalah ekosistem AI yang lengket yang dikenal sebagai CUDA, singkatan dari Compute Unified Device Architecture. Sama seperti konsumen sehari-hari enggan beralih dari perangkat Apple iOS mereka ke ponsel Samsung yang menggunakan Google Android, sekelompok pengembang telah bekerja dengan CUDA selama bertahun-tahun dan merasa nyaman sehingga tidak ada alasan untuk mempertimbangkan menggunakan platform perangkat lunak lain. Sama seperti perangkat keras, CUDA efektif telah menjadi standar sendiri.

“Platform Nvidia tersedia luas melalui setiap penyedia cloud utama dan produsen komputer, menciptakan basis pengembang dan pelanggan yang besar dan menarik, yang membuat platform kami lebih berharga bagi pelanggan kami,” tambah Huang pada hari Rabu.

Panduan dalam jajaran untuk pendapatan kuartal berikutnya dari Micron tidak cukup untuk bullish

Perdagangan AI memang mengalami sedikit pukulan setelah pemasok chip memori Micron Technology, pemasok chip memori berkecepatan tinggi (HBM) untuk perusahaan seperti Nvidia, memperkirakan pendapatan kuartal keempat fiskal hanya akan sejalan dengan harapan pasar sekitar $7,6 miliar.

Saham Micron anjlok 7%, di bawah kinerja dengan marjin besar kenaikan sedikit dalam Nasdaq Composite yang didominasi teknologi.

Dalam masa lalu, Micron dan pesaingnya dari Korea Samsung dan SK Hynix telah melihat periode booming dan busts yang umum terjadi pada pasar chip memori, yang lama dianggap sebagai bisnis komoditas jika dibandingkan dengan chip logika seperti prosesor grafis.

Namun, kegembiraan telah melonjak seiring dengan permintaan akan chipnya yang diperlukan untuk pelatihan AI. Saham Micron lebih dari dua kali lipat dalam 12 bulan terakhir, yang berarti para investor telah memasukkan sebagian besar pertumbuhan yang diprediksi oleh manajemen.

“Panduan itu pada dasarnya sejalan dengan ekspektasi dan dalam dunia hardware AI jika Anda memberikan panduan sejalan itu dianggap sebagai sedikit kekecewaan,” kata Gene Munster, seorang investor teknologi dengan Deepwater Asset Management. “Investor momentum hanya tidak melihat alasan tambahan untuk lebih positif tentang cerita ini.”

Analis secara cermat melacak permintaan untuk memori berkecepatan tinggi sebagai indikator terkemuka untuk industri AI karena sangat penting untuk menyelesaikan kendala ekonomi terbesar yang dihadapi pelatihan AI saat ini—masalah skalabilitas.

Chip HBM mengatasi masalah skalabilitas dalam pelatihan AI

Biaya pada dasarnya tidak naik sejalan dengan kompleksitas model—jumlah parameter yang dimilikinya, yang bisa mencapai miliaran—tetapi tumbuh secara eksponensial. Hal ini mengakibatkan hasil yang semakin menurun dalam efisiensi dari waktu ke waktu.

Meskipun pendapatan tumbuh pada tingkat yang konsisten, kerugian berisiko membesar menjadi miliaran atau bahkan puluhan miliar dolar per tahun saat sebuah model menjadi lebih canggih. Hal ini mengancam untuk menghancurkan perusahaan manapun yang tidak memiliki investor berduit seperti Microsoft yang mampu memastikan OpenAI masih \”mampu membayar tagihan,\” seperti yang diungkapkan CEO Sam Altman baru-baru ini.

Salah satu alasan utama dari pengurangan hasil adalah kesenjangan yang semakin membesar antara dua faktor yang menentukan kinerja pelatihan AI. Yang pertama adalah daya komputasi mentah chip logika—sebagaimana diukur oleh FLOPS, jenis kalkulasi per detik—dan yang kedua adalah kebutuhan bandwidth memori untuk memberikan data kepadanya dengan cepat—sering kali diungkapkan dalam jutaan transfer per detik, atau MT/s.

Karena mereka bekerja secara bersamaan, peningkatan salah satunya tanpa yang lainnya hanya menghasilkan pemborosan dan ketidakefisienan biaya. Itulah mengapa pemanfaatan FLOPS, atau seberapa banyak komputasi yang sebenarnya dapat diterapkan, adalah metrik kunci saat menilai efisiensi biaya dari model AI.

Terjual habis hingga akhir tahun depan

Seperti yang ditunjukkan Micron, tingkat transfer data tidak mampu mengikuti pertumbuhan daya komputasi yang meningkat. Bottleneck yang dihasilkan, sering disebut sebagai “dinding memori” adalah salah satu penyebab utama dari ketidakmampuan saat ini dalam efisiensi saat memperbesar model pelatihan AI.

Itulah mengapa pemerintah AS sangat fokus pada bandwidth memori ketika memutuskan chip Nvidia spesifik mana yang perlu dilarang diekspor ke Tiongkok untuk melemahkan program pengembangan AI Beijing.

Pada hari Rabu, Micron mengatakan bisnis HBM-nya “terjual habis” sepanjang hingga akhir tahun kalender depan, yang mengikuti tahun fiskalnya dengan satu kuartal, mengikuti komentar serupa dari pesaing Korea SK Hynix.

“Kami berharap menghasilkan beberapa ratus juta dolar dari pendapatan HBM di FY24 dan beberapa [miliar dolar] dari pendapatan HBM di FY25,” kata Micron pada hari Rabu.

Subscribe to the Fortune Next to Lead newsletter to get weekly strategies on how to make it to the corner office. Sign up for free.\”