Laptop, ponsel, atau kulkas kamu yang berikutnya akan lebih mahal — dan kamu bisa berterima kasih pada AI untuk itu. Booming AI telah memicu apa yang disebut orang dalam sebagai “RAMageddon”: demam emas terhadap chip memori berkecepatan tinggi yang mempersulit hampir semua pembeli lain di pasar global. Ini menaikkan harga elektronik konsumen dan membebani industri dari otomotif hingga kesehatan. Bahkan CEO Apple, Tim Cook, telah memperingatkan tentang tekanan biaya infrastruktur AI pada margin perangkat keras.
Pemain AI terbesar telah memberlakukan pajak pada seluruh ekonomi — dan kebanyakan orang tidak menyadari bahwa ini sedang terjadi.
Bagaimana chip memori yang dulunya terjangkau menjadi barang mewah
Komputasi modern bergantung pada beberapa jenis memori. SRAM adalah yang tercepat dan termahal; digunakan dalam jumlah kecil di dalam prosesor. DRAM adalah tulang punggung kelompok ini: murah, melimpah, ditemukan di segala hal dari laptop hingga mobil dan kulkas. Lalu ada High Bandwidth Memory atau HBM. Ini adalah bentuk DRAM khusus dan premium yang menumpuk chip untuk mencapai kecepatan transfer data yang jauh lebih cepat.
Untuk pelatihan dan inferensi AI, HBM telah menjadi bahan penting. Itu adalah bahan bakar jet yang menggerakkan GPU yang menjalankan model paling besar dan canggih saat ini.
Produsen memori memiliki jumlah wafer terbatas yang bisa mereka hasilkan dari setiap pabrik silikon. Jalur produksi yang sama yang menghasilkan DRAM biasa untuk perangkat yang kita gunakan sehari-hari sekarang dialokasikan untuk membuat HBM. Ini keputusan bisnis yang rasional: HBM mematok harga premium dan datang dengan pesanan pembelian besar yang dijamin. Faktanya, perusahaan AI dan sejenisnya telah mengamankan pasokan HBM hingga tahun 2027. Hasilnya adalah pasokan memori biasa makin ketat, harga naik, dan waktu tunggu lebih lama dengan efek domino yang menyentuh hampir semua industri. Dan saat ini, pemain terbesar industri telah menguasai pasokan, menciptakan ketegangan inti yang mendorong kelangkaan memori.
Penjelasan tentang ‘tembok memori’
Skala kebutuhan memori AI sangat menakjubkan. Saat ukuran model berkembang dari jutaan ke miliaran hingga triliunan parameter, kebutuhan memori meningkat seiring, dan arsitektur pusat data berjuang untuk mengimbangi. Inilah “tembok memori” industri: hambatan mendasar di mana bandwidth dan kapasitas memori tak bisa mengikuti prosesor yang membutuhkannya.
HBM dulunya adalah solusi elegan untuk versi awal masalah ini. Saat model lebih kecil (seperti GPT-2 dan GPT-3), menempatkan memori di dekat prosesor dan mengirim data dengan kecepatan ekstrem bekerja dengan baik. Tapi kita kini telah melewati era itu. Model terkini melebihi dua triliun parameter dan generasi berikutnya akan lebih dari lima triliun. Satu tumpukan HBM memuat sekitar 24 gigabita. Itu kira-kira satu persen dari apa yang sebenarnya dibutuhkan beban kerja saat ini dan jauh lebih sedikit untuk generasi beban kerja berikutnya.
Hasilnya, pusat data sekarang harus berkembang secara eksponensial. Mereka merantai ratusan prosesor di banyak server dan rak. Pada titik itu, fitur utama HBM yakni bandwidth lokal yang ekstrem terhambat oleh koneksi yang relatif lambat yang menghubungkan semua mesin ini. Industri telah membangun solusi mahal untuk masalah ini: perusahaan AI membayar harga premium HBM sementara hanya mendapat hasil kinerja yang makin menurun.
Demam emas AI meninggalkan banyak pihak
Narasi yang ada menggambarkan investasi infrastruktur AI sebagai hal yang baik secara luas: lebih baik untuk pembuat memori, perusahaan chip, dan inovasi di mana-mana. Realitanya lebih timpang.
Produsen memori mungkin untung dalam jangka pendek. Tapi pemenang sebenarnya adalah konsentrasi itu sendiri. Ketika pasokan HBM dikuasai oleh segelintir perusahaan raksasa (hyperscaler), itu berfungsi sebagai parit pertahanan. Startup, perusahaan, dan industri mapan semua menghadapi biaya perangkat keras yang lebih tinggi dan akses yang lebih terbatas ke kemampuan AI canggih yang mereka butuhkan untuk bersaing. Perusahaan yang mampu menimbun chip tidak hanya menang hari ini; mereka mengukuhkan keunggulan yang bisa jadi mustahil untuk digoyahkan.
Pihak lain terjebak di tengahnya. Konsumen akan membayar lebih untuk perangkat dengan kemampuan yang lebih rendah. Bisnis menghadapi lingkungan biaya perangkat keras yang menjadi lebih memberatkan dan bergejolak. Dan ekosistem teknologi yang lebih luas bersaing untuk sumber daya memori melawan industri yang pada dasarnya memiliki modal tak terbatas untuk menawar lebih tinggi.
Merencanakan jalan yang lebih berkelanjutan untuk AI dan memori
Industri AI suka berbicara tentang demoktratisasi: model terbuka, alat yang dapat diakses, kecerdasan untuk semua orang. Cerita itu semakin terpisah dari realitas perangkat keras yang sedang dibangun di bawahnya.
Jalur saat ini tidak berkelanjutan. Menuangkan lebih banyak investasi ke kapasitas HBM mengatasi gejala sambil mengabaikan penyebab dasarnya. Industri perlu melampaui fiksasi pada satu arsitektur memori yang dirancang untuk era AI sebelumnya dan berinvestasi serius pada pendekatan baru — pendekatan yang dapat memenuhi tuntutan AI hari ini, dan saat tuntutan itu berkembang seratus kali lipat dalam beberapa tahun mendatang.
Menyelesikan ini membutuhkan lebih dari sekadar menambah pabrik HBM. Ini membutuhkan pemikiran ulang mendasar tentang bagaimana memori diarsitekturkan untuk AI. Yang dibutuhkan adalah sistem memori yang pintar, cepat, dan ringkas — arsitektur yang dapat berkembang seiring pertumbuhan model tanpa membutuhkan konsumsi sumber daya secara kasar. Yang paling penting, arsitektur baru yang muncul harus membuat AI dapat diakses oleh lebih dari segelintir perusahaan.
Tembok memori bukan hanya catatan kaki teknik dalam kebangkitan AI. Itu adalah tantangan infrastruktur penentu era ini. Jawaban industri saat ini yaitu “lebih banyak HBM, lebih cepat, dengan biaya apa pun” adalah jalan berbahaya yang berisiko mengikis persaingan, inovasi, dan kepercayaan konsumen. Sebagai industri, kita harus menemukan cara untuk melakukan lebih baik, dan dengan cepat, sebelum terlambat.
Bantuan paling segera yang tersedia adalah beralih dari ketergantungan HBM ke arsitektur DRAM biasa yang dirancang khusus untuk kebutuhan AI. Jendela untuk bertindak — sebelum kesenjangan antara yang memiliki dan tidak memiliki AI menjadi tak terjembatani — sedang menutup dengan cepat.
Pendapat yang diungkapkan dalam tulisan komentar Fortune.com adalah pandangan penulisnya sendiri dan tidak selalu mencerminkan pendapat dan keyakinan Fortune.