Red Hat, raksasa perangkat lunak sumber terbuka yang dimiliki oleh IBM, telah menyelesaikan akuisisi Neural Magic, sebuah startup optimisasi kecerdasan buatan (AI) yang berpionir. Awalnya diumumkan pada November 2024, kesepakatan tersebut ditutup pada 13 Januari 2025, menandai langkah signifikan dalam strategi Red Hat untuk meningkatkan kemampuan AI-nya di lingkungan cloud hybrid.
Meskipun harga tidak diungkapkan, Neural Magic sebelumnya telah mengumpulkan $50 juta dalam pendanaan modal ventura dari berbagai investor, termasuk Andreessen Horowitz, New Enterprise Associates, Amdocs, dan Comcast Ventures. Kita dapat dengan aman mengasumsikan bahwa kesepakatan ini tidak terjadi begitu saja. Penyebabnya mungkin tidak terluka, saya yakin, oleh kenyataan bahwa CEO Neural Magic sebelum kesepakatan ditutup adalah Brian Stevens, mantan CTO dan wakil presiden eksekutif Red Hat.
Juga: Model AI sumber terbuka terbaik: Semua opsi gratis Anda dijelaskan
Ketika penggabungan pertama kali diumumkan, Stevens mengatakan: “Di Neural Magic, visi kami adalah bahwa masa depan AI adalah terbuka, dan kami telah berada dalam misi untuk memungkinkan perusahaan menangkap inovasi kuat dari AI sambil sekaligus bebas dari gesekan dan pembatasan. Model sumber terbuka, algoritma optimisasi, dan sistem inferencing adalah inti dari ini – memungkinkan perusahaan memiliki model AI mereka sendiri, menyesuaikan mereka secara pribadi dengan dataset mereka, dan mendeploy mereka pada infrastruktur multi-vendor pribadi mereka – awan, pusat data, atau edge.”
Neural Magic, spinoff MIT yang didirikan pada tahun 2018, telah mengembangkan perangkat lunak dan algoritma inovatif yang mempercepat beban kerja inferensi AI generatif.
Teknologi perusahaan ini memungkinkan model AI kompleks berjalan efisien pada perangkat keras komoditas, termasuk CPU dan GPU standar, yang berpotensi mengurangi kebutuhan akan akselerator AI khusus dan mahal.
Jadi, apa arti kemampuan itu? Nah, Neural Magic membawa beberapa teknologi kunci ke Red Hat melalui akuisisi:
Keahlian vLLM: Neural Magic adalah kontributor terkemuka untuk vLLM, sebuah proyek sumber terbuka untuk pelayanan model bahasa besar yang efisien (LLM). Secara khusus, vLLM sudah menjadi mesin inferensi Red Hat Enterprise Linux (RHEL) AI dan Red Hat OpenShift AI. Langkah ini jelas menguntungkan program AI eksisting Red Hat.
DeepSparse: Runtime inferensi yang memberikan performa kelas GPU pada CPU komoditas melalui algoritma yang mengurangi kebutuhan komputasi dan memori untuk eksekusi jaringan saraf. Secara khusus, selain LLM, DeepSparse juga berguna untuk visi komputer (CV) dan pemrosesan bahasa alami (NLP).
SparseZoo: Jika Anda menggunakan DeepSparse, Neural Magic sudah menyediakan repositori model CV, NLP, dan LLM yang sudah dioptimalkan sebelumnya.
Teknik Kompresi Model: Neural Magic telah mengembangkan metode lanjutan untuk kuantisasi dan sparsifikasi model, yang dapat secara signifikan mengurangi ukuran model dan persyaratan komputasi tanpa kehilangan akurasi yang substansial.
Optimisasi Cross-platform: Teknologi Neural Magic memungkinkan optimisasi model AI untuk implementasi di berbagai lingkungan awan, pusat data, dan edge.
Teknologi-teknologi ini sejalan dengan visi Red Hat untuk membuat beban kerja AI lebih mudah diakses, efisien, dan dapat diimplementasikan di lingkungan cloud hybrid, yang berpotensi mengurangi kebutuhan akan perangkat keras AI khusus dan mahal. Singkatnya, teknologi Neural Magic memungkinkan penggunanya untuk melakukan AI dengan biaya murah. Ini juga, pada intinya vLLM-nya, adalah pendekatan AI sumber terbuka.
Juga: Dicari: Manusia untuk membangun robot untuk OpenAI – dan tidak semua orang senang
Bagi Red Hat, seperti yang dikatakan CEO perusahaan Matt Hicks dalam sebuah pernyataan: “Kami sangat senang melengkapi portofolio kecerdasan buatan berbasis cloud hybrid kami dengan inovasi AI groundbreaking Neural Magic, memperkuat dorongan kami untuk tidak hanya menjadi ‘Red Hat’ dari sumber terbuka, tetapi juga ‘Red Hat’ dari AI juga.”
Pada X, Hicks menulis: “Di @RedHat, kami percaya masa depan AI adalah terbuka. Itulah mengapa saya sangat senang dengan akuisisi kami dari @NeuralMagic. Bersama, kami meningkatkan komitmen kami kepada pelanggan dan komunitas sumber terbuka untuk memberikan masa depan AI – dan itu dimulai hari ini.”
Secara strategis, Red Hat berharap akuisisi Neural Magic akan memperkuat posisi Red Hat dalam kemampuannya untuk mendeploy beban kerja AI di beragam lingkungan komputasi, dari pusat data lokal hingga awan publik, dan untuk meningkatkan efisiensi beban kerja AI yang sudah berjalan di RHEL AI, OpenShift AI, dan InstructLab, sebuah proyek komunitas Red Hat dan IBM AI sumber terbuka untuk meningkatkan IBM Granite LLM berlisensi sumber terbuka.
Juga: 15 cara AI menghemat waktu saya di tempat kerja pada tahun 2024 – dan bagaimana saya berencana menggunakannya di tahun 2025
Jadi, apakah pendekatan ini akan berhasil? Dave McCarthy, wakil presiden penelitian Layanan Cloud dan Edge IDC, berpikir demikian: “Akuisisi Red Hat terhadap Neural Magic adalah peningkatan strategis untuk kemampuan AI-nya, memfasilitasi implementasi AI di cloud hibrid dengan memanfaatkan keahlian Neural Magic dalam optimisasi model dan percepatan inferensi. Langkah ini sejalan dengan komitmen Red Hat terhadap inovasi sumber terbuka dan menempatkan perusahaan untuk menawarkan solusi AI yang lebih hemat biaya, dapat diskalakan, yang mengurangi ketergantungan pada perangkat keras khusus.”