Meskipun demikian, para pengembang mengungkapkan bahwa proses migrasi kode dari CUDA milik Nvidia ke ROCm tidak selalu mulus. Hal ini menyebabkan mereka biasanya fokus membangun untuk satu vendor chip saja.
“ROCm itu luar biasa, sumber terbuka, namun hanya berjalan di perangkat keras satu vendor,” ujar Lattner kepada audiens dalam acara Advancing AI AMD bulan Juni lalu. Kemudian ia memaparkan alasan mengapa perangkat lunak Modular lebih portabel dan mampu membuat GPU jauh lebih cepat.
Presentasi Lattner di AMD merupakan cerminan dari ‘tarian’ yang perlu ia dan Davis lakukan dalam menyebarkan ‘injil’ Modular. Saat ini, Nvidia dan AMD sama-sama merupakan mitra kritis bagi perusahaan mereka. Di masa depan, mereka juga bisa menjadi pesaing langsung. Sebagian dari proposisi nilai Modular adalah kemampuannya untuk menghadirkan perangkat lunak pengoptimal GPU bahkan lebih cepat dari Nvidia, mengingat sering terdapat jeda berbulan-bulan antara peluncuran GPU baru oleh Nvidia dan rilisnya “attention kernel”—komponen kritis perangkat lunak GPU.
“Untuk saat ini Modular bersifat komplementer bagi AMD dan Nvidia, tetapi lama-kelamaan kedua perusahaan tersebut mungkin merasa terancam jika ROCm atau CUDA bukan lagi perangkat lunak terbaik yang berjalan di atas chip mereka,” kata Munichiello. Ia juga mengkhawatirkan bahwa calon pelanggan cloud mungkin enggan membayar untuk lapisan perangkat lunak tambahan seperti milik Modular.
Menulis perangkat lunak untuk GPU juga sering disebut sebagai “seni gelap” oleh Waleed Atallah, salah satu pendiri dan CEO Mako, sebuah perusahaan optimisasi kernel GPU. “Memetakan sebuah algoritma ke GPU adalah hal yang sangat sulit. Dari ratusan juta pengembang perangkat lunak, mungkin hanya 10.000 yang menulis kernel GPU, dan mungkin hanya seratus orang yang bisa melakukannya dengan baik.”
Mako sedang membangun agen AI untuk mengoptimalkan penulisan kode bagi GPU. Beberapa pengembang meyakini itulah masa depan industri, alih-alih membangun kompiler universal atau bahasa pemrograman baru seperti Modular. Mako baru saja mengumpulkan dana seed senilai $8,5 juta dari Flybridge Capital dan akselerator startup Neo.
“Kami berupaya mengambil pendekatan iteratif dalam penulisan kode dan mengotomasinya dengan AI,” kata Atallah. “Dengan mempermudah penulisan kode, jumlah orang yang mampu melakukannya akan berkembang secara eksponensial. Membuat kompiler lain adalah solusi yang lebih bersifat tetap.”
Lattner mencatat bahwa Modular juga menggunakan alat bantu coding AI. Namun, perusahaan ini bertekad untuk menangani seluruh tumpukan kode, bukan hanya kernel.
Terdapat kira-kira 250 juta alasan mengapa investor yakin pendekatan ini viable. Lattner dipandang sebagai seorang tokoh terkemuka di dunia pemrograman, setelah sebelumnya membangun proyek infrastruktur kompiler sumber terbuka LLVM, serta bahasa pemrograman Swift milik Apple. Ia dan Davis sama-sama yakin bahwa ini adalah masalah perangkat lunak yang harus diselesaikan di luar lingkungan Big Tech, di mana sebagian besar perusahaan fokus membangun perangkat lunak untuk tumpukan teknologi mereka sendiri.
“Saat saya meninggalkan Google, saya agak depresi, karena saya sangat ingin menyelesaikan masalah ini,” ujar Lattner. “Yang kami sadari adalah ini bukan soal orang pintar, bukan soal uang, bukan soal kemampuan. Ini adalah masalah struktural.”
Munichiello membagikan sebuah mantra yang umum di dunia investasi teknologi: Ia mengatakan dia bertaruh pada para pendirinya sendiri sebanyak pada produk mereka. “Dia sangat berprinsip dan tidak sabaran, dan juga seringkali benar,” kata Munichiello tentang Lattner. “Steve Jobs juga seperti itu—dia tidak membuat keputusan berdasarkan konsensus, tetapi dia seringkali benar.”