dem10/iStock/Getty Images Plus
Ikuti ZDNET: Tambahkan kami sebagai sumber preferensi di Google.
*
Intisari ZDNET**
- CNCF sangat optimis komputasi cloud-native akan bersinergi erat dengan AI.
- AI inference adalah teknologi yang akan menghasilkan ratusan miliar dolar bagi perusahaan cloud-native.
- Jenis awan baru yang berfokus pada AI, seperti neocloud, telah mulai bermunculan.
Pada KubeCon North America 2025 di Atlanta, para pimpinan Cloud Native Computing Foundation (CNCF) memprediksi lonjakan besar dalam komputasi cloud-native, yang digerakkan oleh pertumbuhan eksplosif beban kerja AI inference. Seberapa besar? Mereka memprediksi pengeluaran akan mencapai ratusan miliar dolar dalam 18 bulan ke depan.
AI inference adalah proses di mana Model Bahasa Besar (LLM) yang telah dilatih menerapkan pengetahuannya pada data baru untuk membuat prediksi, keputusan, atau klasifikasi. Secara praktis, prosesnya seperti ini: setelah model dilatih (misalnya GPT 5.1 yang baru), kita menggunakannya dalam fase inference, di mana ia menganalisis data dan menghasilkan keluaran tanpa diprogram secara eksplisit untuk setiap data baru. Beban kerja inference inilah yang menjembatani LLM dengan chatbot AI serta agen AI.
Jonathan Bryce, Direktur Eksekutif CNCF, menjelaskan dalam konferensi pers KubeCon bahwa AI inference adalah "tahap di mana Anda mengambil model itu, menyajikan model tersebut, dan menjawab pertanyaan, membuat prediksi, memasukkannya ke dalam sistem untuk membawa kecerdasan itu dan menghubungkannya ke dunia." Dia menekankan bahwa inference melibatkan transformasi model AI yang telah dilatih menjadi layanan yang dapat merespons pertanyaan atau situasi baru.
Membuat LLM sangatlah mahal. Menurut Bryce, Sam Altman, CEO OpenAI, menyatakan bahwa pelatihan GPT-5 dapat menelan biaya hingga satu miliar dolar. Untungnya, sebagian besar perusahaan tidak perlu—dan bahkan tidak boleh—mencoba membangun LLM yang sangat besar. Sebaliknya, mereka harus menggunakan "ratusan model sumber terbuka yang lebih kecil, disesuaikan, dan diperhalus untuk tugas spesifik, seperti analisis sentimen, pembuatan kode, dan peninjauan kontrak." Selain itu, mereka harus menggunakan inference untuk memaksimalkan manfaat dari LLM dan model yang lebih kecil tersebut.
Bryce melanjutkan bahwa ada puluhan inference engine. Secara khusus, gelombang baru inference engine cloud-native sedang bermunculan. Mesin-mesin ini mencakup KServe, NVIDIA NIM, Parasail.io, AIBrix, dan llm-d. Kesamaan mereka adalah bahwa platform-platform ini menggunakan container dan Kubernetes untuk menerapkan, mengelola, dan menskalakan AI dalam produksi.
Menurut CNCF, model inference khusus ini menawarkan beberapa keuntungan bagi pengguna, antara lain:
- Efektivitas Biaya: Jauh lebih murah untuk dioperasikan dan disesuaikan.
- Kinerja: Lebih cepat dan seringkali lebih akurat untuk domain tertentu.
- Perangkat Keras yang Lebih Murah: Tidak memerlukan GPU terbesar, terbaru, dan paling langka untuk pekerjaan inference.
- Keamanan dan Privasi: Dapat di-hosting sendiri, on-premise, atau di awan.
Komputasi cloud-native dan AI inference bertemu ketika AI tidak lagi menjadi jalur terpisah. Sebaliknya, beban kerja AI, terutama tugas inference, mendorong era baru di mana aplikasi cerdas memerlukan infrastruktur yang dapat diskalakan dan andal.
Era itu sedang berlangsung karena, kata Bryce, "AI berpindah dari beberapa ‘Superkomputer Pelatihan’ menjadi ‘Inference Perusahaan’ yang meluas. Ini pada dasarnya adalah masalah cloud-native. Anda, para insinyur platform, adalah orang-orang yang akan membangun platform sumber terbuka yang membuka kunci AI perusahaan."
"Pengembangan cloud-native dan AI-native sedang bergabung, dan ini adalah posisi yang sangat luar biasa bagi kita saat ini," kata CTO CNCF, Chris Aniszczyk. Data mendukung pendapat ini. Misalnya, Google melaporkan bahwa pekerjaan inference internalnya baru-baru ini memproses 1,33 kuadriliun token per bulan, meningkat dari 980 triliun hanya beberapa bulan sebelumnya.
Memang, ada jenis awan baru yang dikenal sebagai neocloud, yang didedikasikan untuk AI. Neocloud hampir secara eksklusif berfokus pada menyediakan Layanan GPU (GPUaaS), kinerja bare-metal, dan infrastruktur yang secara eksplisit dioptimalkan untuk pelatihan AI, dan yang terpenting, untuk inference.
Aniszczyk menambahkan bahwa proyek cloud-native, terutama Kubernetes, sedang beradaptasi untuk melayani beban kerja inference dalam skala besar: "Kubernetes jelas adalah salah satu contoh terkemuka sejak rilis terakhir… fitur alokasi sumber daya dinamis memungkinkan abstraksi perangkat keras GPU dan TPU dalam konteks Kubernetes."
Untuk memenuhi permintaan dengan lebih baik, CNCF mengumumkan Program Kesesuaian Kubernetes AI Bersertifikat, yang bertujuan untuk membuat beban kerja AI menjadi portabel dan andal seperti aplikasi cloud-native tradisional.
"Ketika AI masuk ke tahap produksi, tim membutuhkan infrastruktur yang konsisten dan dapat diandalkan," tegas Aniszczyk dalam pidato kuncinya. "Inisiatif ini akan membuat pagar pembatas bersama untuk memastikan beban kerja AI berperilaku dapat diprediksi di berbagai lingkungan. Ini membangun proses standar yang digerakkan oleh komunitas yang sama yang kami gunakan dengan Kubernetes untuk membantu membawa konsistensi seiring dengan adopsi AI yang meluas."
Apa arti semua upaya ini bagi bisnis adalah bahwa pengeluaran untuk AI inference pada infrastruktur dan layanan cloud-native akan mencapai ratusan miliar dalam 18 bulan ke depan. Investasi itu karena para pemimpin CNCF memprediksi bahwa perusahaan-perusahaan akan berlomba untuk menyiapkan layanan AI yang andal dan hemat biaya. Mereka bukan satu-satunya yang melihat tren ini. Dominic Wilde, Wakil Presiden Senior perusahaan distribusi Kubernetes Mirantis, mengatakan dalam sebuah wawancara bahwa tidak lama lagi akan ada layanan awan Inference-as-a-Service.
Saya pikir para ahli ini benar. Ada sinergi alami antara AI dan komputasi cloud-native. Hubungan ini, pada gilirannya, berarti bisnis yang dapat memanfaatkan pasangan ini dengan sebaik-baiknya dapat berharap untuk memperoleh keuntungan, baik mereka menawarkan layanan cloud-native/AI maupun menggunakannya untuk meningkatkan rencana bisnis mereka sendiri.