Meta’s MTIA v2 menggandakan jumlah memori on-chip untuk meningkatkan tiga kali lipat kinerja pada tugas-tugas kecerdasan buatan.
Meta telah mengungkapkan chip akselerator “training and inference” generasi kedua, atau “MTIA”, hampir setahun setelah versi pertama, dan perusahaan tersebut mengatakan bagian baru ini membawa peningkatan kinerja yang signifikan.
Meta – seperti halnya dengan raksasa teknologi lainnya, seperti Microsoft, Google, dan Tesla – sedang berinvestasi dalam perangkat keras kecerdasan buatan (AI) khusus untuk melindungi diri dari kekuasaan monopoli pemasok GPU utama, Nvidia. Investasi ini juga merupakan cara untuk memastikan pasokan komputasi mengingat Nvidia belum mampu memproduksi chip yang cukup untuk memenuhi permintaan selama lonjakan minat AI generatif yang tiba-tiba.
Seperti bagian pertama, chip MTIA versi 2 terdiri dari jaringan blok sirkuit yang beroperasi secara paralel, “grid 8×8 elemen pemrosesan (PEs)”. Chip ini berkinerja 3,5 kali lebih cepat daripada MTIA v1, kata Meta. Chip ini tujuh kali lebih cepat dalam tugas-tugas AI yang melibatkan komputasi “jarang”, di mana variabel memiliki nilai nol.
Meta mengatakan manfaat datang dari perubahan arsitektur chip dan peningkatan memori dan penyimpanan. “Kami telah memperbesar ukuran penyimpanan PE lokal tiga kali lipat, menggandakan SRAM on-chip dan meningkatkan bandwidthnya sebesar 3,5X, dan menggandakan kapasitas LPDDR5,” kata raksasa teknologi tersebut.
Chip ini dibangun dengan teknologi proses 5 nanometer yang dikembangkan oleh raksasa manufaktur chip kontrak Taiwan Semiconductor Manufacturing.
Chip yang lebih besar, berukuran 421 milimeter persegi dibandingkan dengan 373 untuk v1, memiliki 2,4 miliar gerbang, kata Meta, dan melakukan 103 juta operasi matematika titik mengambang per detik. Kinerja ini dibandingkan dengan 1,1 miliar gerbang dan 65 juta operasi untuk model sebelumnya.
Sama seperti MTIA v1, chip baru ini menjalankan perangkat lunak yang mengoptimalkan program menggunakan kerangka pengembang open-source PyTorch milik Meta. Dua kompilator perangkat lunak bekerja sama – satu di bagian depan mengompilasi grafik komputasi dari suatu program, dan satu di bagian belakang ditulis dalam bahasa kompilator open-source Triton untuk menghasilkan kode mesin optimal untuk chip.
Meta mengatakan pekerjaan pengembangan perangkat lunak untuk MTIA v1 memungkinkan perusahaan untuk dengan cepat membawa chip baru ini menjadi kenyataan, “dari pertama kali silikon hingga model produksi berjalan di 16 wilayah dalam waktu kurang dari sembilan bulan.” Perusahaan teknologi tersebut mengatakan chip tersebut sedang dikerahkan untuk mendukung model iklan peringkat dan rekomendasi.
Meta mengatakan telah merancang sistem komputer rak yang menjalankan 72 MTIA v2 secara paralel. “Desain kami memastikan kami menyediakan kemampuan yang lebih padat dengan komputasi yang lebih tinggi, bandwidth memori, dan kapasitas memori,” kata Meta. “Kepadatan ini memungkinkan kami untuk lebih mudah mengakomodasi berbagai kompleksitas dan ukuran model.”
Perusahaan teknologi tersebut berencana untuk terus berinvestasi dalam desain perangkat keras khusus. “Saat ini kami memiliki beberapa program yang sedang berlangsung yang bertujuan untuk memperluas cakupan MTIA, termasuk dukungan untuk beban kerja GenAI,” kata Meta. “Kami merancang silikon kustom kami untuk bekerja sama dengan infrastruktur yang sudah ada serta dengan perangkat keras baru yang lebih canggih (termasuk GPU generasi berikutnya) yang mungkin kami manfaatkan di masa depan.”