Saat saya mengetuk aplikasi untuk Claude AI dari Anthropic di ponsel dan memberikan sebuah perintah—misalnya, “Ceritakan sebuah kisah tentang kucing nakal”—banyak hal terjadi sebelum hasilnya (*The Great Tuna Heist*) muncul di layar saya.
Permintaan saya dikirim ke *cloud*—sebuah komputer di pusat data besar di suatu tempat—untuk diproses melalui model bahasa besar Sonnet 4.5 milik Claude. Model merakit respons yang masuk akal menggunakan prediksi teks canggih, dengan menggambar pada data masif yang telah menjadi pelatihannya. Respons itu kemudian dirutekan kembali ke iPhone saya, muncul kata demi kata, baris demi baris, di layar. Ia telah menempuh perjalanan ratusan, bahkan ribuan, mil dan melalui banyak komputer dalam perjalanan bolak-balik ke ponsel kecil saya. Dan itu semua terjadi dalam hitungan detik.
Baca selengkapnya: CNET Memilih Pemenang Penghargaan Terbaik dari CES 2026
Sistem ini bekerja dengan baik jika yang Anda lakukan berisiko rendah dan kecepatan bukanlah masalah besar. Saya bisa menunggu beberapa detik untuk cerita kecil tentang Whiskers dan petualangannya di lemari dapur. Namun, tidak semua tugas untuk kecerdasan artifisial seperti itu. Beberapa membutuhkan kecepatan yang sangat tinggi. Jika sebuah perangkat AI akan memperingatkan seseorang tentang objek yang menghalangi jalan, ia tidak bisa menunggu satu atau dua detik.
Permintaan lain membutuhkan privasi lebih. Saya tidak peduli jika cerita kucing itu melewati puluhan komputer milik orang dan perusahaan yang tidak saya kenal dan mungkin tidak saya percayai. Tapi bagaimana dengan informasi kesehatan saya, atau data keuangan saya? Saya mungkin ingin mengendalikannya dengan lebih ketat.
Jangan lewatkan konten teknologi independen dan ulasan berbasis lab kami. Tambahkan CNET sebagai sumber pilihan di Google.
Kecepatan dan privasi adalah dua alasan utama mengapa pengembang teknologi semakin menggeser pemrosesan AI dari pusat data korporat yang masif ke perangkat pribadi seperti ponsel, laptop, atau jam pintar Anda. Ada juga penghematan biaya: tidak perlu membayar operator pusat data besar. Ditambah lagi, model *on-device* dapat bekerja tanpa koneksi internet.
Tapi untuk memungkinkan pergeseran ini, dibutuhkan perangkat keras yang lebih baik dan model AI yang lebih efisien—seringkali lebih spesialis. Konvergensi dari dua faktor itu pada akhirnya akan membentuk seberapa cepat dan mulus pengalaman Anda pada perangkat seperti ponsel.
Mahadev Satyanarayanan, yang dikenal sebagai Satya, adalah seorang profesor ilmu komputer di Carnegie Mellon University. Ia telah lama meneliti apa yang dikenal sebagai *edge computing*—konsep menangani pemrosesan dan penyimpanan data sedekat mungkin dengan pengguna sebenarnya. Ia mengatakan model ideal untuk *edge computing* sejati adalah otak manusia, yang tidak mengalihdayakan tugas seperti penglihatan, pengenalan, ucapan, atau kecerdasan ke semacam “*cloud*”. Semua terjadi di sana, sepenuhnya “*on-device*”.
“Ini masalahnya: alam butuh satu miliar tahun untuk mengembangkan kita,” katanya kepada saya. “Kita tidak punya satu miliar tahun untuk menunggu. Kami mencoba melakukan ini dalam lima atau sepuluh tahun, paling lama. Bagaimana kita akan mempercepat evolusi?”
Anda mempercepatnya dengan AI yang lebih baik, lebih cepat, lebih kecil yang berjalan pada perangkat keras yang lebih baik, lebih cepat, lebih kecil. Dan seperti yang sudah kita lihat dengan aplikasi dan perangkat terbaru—termasuk yang kami lihat di CES 2026—proses ini sudah berjalan dengan baik.
AI Mungkin Sedang Berjalan di Ponsel Anda Saat Ini
AI *on-device* jauh dari hal baru. Ingat tahun 2017 ketika Anda pertama kali bisa membuka kunci iPhone dengan mengarahkannya ke wajah Anda? Teknologi pengenalan wajah itu menggunakan mesin neural *on-device*—bukan AI generatif seperti Claude atau ChatGPT, tetapi itu adalah kecerdasan artifisial fundamental.
iPhone saat ini menggunakan model AI *on-device* yang jauh lebih kuat dan serbaguna. Model ini memiliki sekitar 3 miliar parameter—perhitungan individual yang memberikan bobot pada suatu probabilitas dalam model bahasa. Itu relatif kecil dibandingkan dengan model umum besar yang digunakan sebagian besar chatbot AI. Deepseek-R1, misalnya, memiliki 671 miliar parameter. Tapi itu tidak dimaksudkan untuk melakukan segalanya. Sebaliknya, ia dibangun untuk tugas-tugas *on-device* spesifik seperti merangkum pesan. Sama seperti teknologi pengenalan wajah untuk membuka kunci ponsel, ini adalah sesuatu yang tidak bisa bergantung pada koneksi internet untuk dijalankan dari model di *cloud*.
Apple telah meningkatkan kemampuan AI *on-device*-nya—yang dijuluki Apple Intelligence—untuk mencakup fitur pengenalan visual, seperti membiarkan Anda mencari tahu hal-hal yang Anda ambil tangkapan layarnya.
Model AI *on-device* ada di mana-mana. Ponsel Pixel Google menjalankan model Gemini Nano perusahaan di chip Tensor G5 kustomnya. Model itu menggerakkan fitur seperti Magic Cue, yang menampilkan informasi dari email, pesan, dan lainnya—tepat saat Anda membutuhkannya—tanpa Anda harus mencarinya secara manual.
Pengembang ponsel, laptop, tablet, dan perangkat keras di dalamnya sedang membangun perangkat dengan mempertimbangkan AI. Tapi ini melampaui itu semua. Bagaimana dengan jam tangan dan kacamata pintar, yang menawarkan ruang jauh lebih terbatas daripada ponsel tertipis sekalipun?
“Tantangan sistemnya sangat berbeda,” kata Vinesh Sukumar, kepala *generative AI* dan *machine learning* di Qualcomm. “Bisakah saya melakukan semuanya di semua perangkat?”
Saat ini, jawabannya biasanya tidak. Solusinya cukup sederhana. Ketika sebuah permintaan melampaui kemampuan model, ia mengalihdayakan tugas tersebut ke model berbasis *cloud*. Tapi tergantung pada bagaimana penyerahan itu dikelola, hal itu dapat merusak salah satu manfaat utama AI *on-device*: menjaga data Anda sepenuhnya di tangan Anda.
AI yang Lebih Privat dan Aman
Para ahli berulang kali menunjuk privasi dan keamanan sebagai keunggulan kunci AI *on-device*. Dalam situasi *cloud*, data beterbangan ke segala arah dan menghadapi lebih banyak momen kerentanan. Jika ia tetap berada di drive ponsel atau laptop yang terenkripsi, ia jauh lebih mudah diamankan.
Data yang digunakan oleh model AI perangkat Anda bisa mencakup hal-hal seperti preferensi, riwayat penjelajahan, atau informasi lokasi Anda. Meskipun semua itu penting agar AI dapat mempersonalisasi pengalaman berdasarkan preferensi Anda, itu juga jenis informasi yang mungkin tidak ingin Anda jatuh ke tangan yang salah.
“Apa yang kami perjuangkan adalah memastikan pengguna memiliki akses dan merupakan pemilik tunggal dari data itu,” kata Sukumar.
Apple Intelligence memberikan tampilan baru pada Siri di iPhone.
Numi Prasarn/CNET
Ada beberapa cara berbeda penanganan pengalihan informasi dapat dilakukan untuk melindungi privasi Anda. Salah satu faktor kunci adalah Anda harus memberikan izin untuk hal itu terjadi. Sukumar mengatakan tujuan Qualcomm adalah memastikan orang mendapat informasi dan memiliki kemampuan untuk menolak ketika sebuah model mencapai titik pengalihan ke *cloud*.
Pendekatan lain—dan yang dapat bekerja berdampingan dengan persyaratan izin pengguna—adalah memastikan bahwa data apa pun yang dikirim ke *cloud* ditangani dengan aman, singkat, dan sementara. Apple, misalnya, menggunakan teknologi yang disebutnya Private Cloud Compute. Data yang dialihkan diproses hanya di server Apple sendiri, hanya data minimum yang dibutuhkan untuk tugas tersebut yang dikirim, dan tidak ada satupun yang disimpan atau dapat diakses oleh Apple.
AI Tanpa Biaya AI
Model AI yang berjalan di perangkat datang dengan keunggulan bagi pengembang aplikasi dan pengguna karena biaya berkelanjutan untuk menjalankannya pada dasarnya tidak ada. Tidak ada perusahaan layanan *cloud* yang harus dibayar untuk energi dan daya komputasi. Semuanya ada di ponsel Anda. Kantong Andalah pusat datanya.
Itulah yang menarik Charlie Chapman, pengembang aplikasi mesin suara bernama Dark Noise, untuk menggunakan Apple’s Foundation Models Framework untuk alat yang memungkinkan Anda membuat campuran suara. Model AI *on-device* tidak menghasilkan audio baru, hanya memilih suara yang sudah ada dan tingkat volume yang berbeda untuk membuat satu campuran.
Karena AI berjalan *on-device*, tidak ada biaya berkelanjutan saat Anda membuat campuran. Bagi pengembang kecil seperti Chapman, itu berarti ada lebih sedikit risiko yang terkait dengan skala basis pengguna aplikasinya. “Jika beberapa *influencer* secara acak memposting tentangnya dan saya mendapatkan jumlah pengguna gratis yang luar biasa, itu tidak berarti saya tiba-tiba akan bangkrut,” kata Chapman.
Baca selengkapnya: AI Essentials: 29 Cara Anda Dapat Membuat Gen AI Bekerja untuk Anda, Menurut Para Ahli Kami
Ketiadaan biaya berkelanjutan dari AI *on-device* memungkinkan tugas-tugas kecil dan berulang seperti entri data untuk diotomatisasi tanpa biaya besar atau kontrak komputasi, kata Chapman. Kelemahannya adalah model *on-device* berbeda berdasarkan perangkatnya, sehingga pengembang harus melakukan lebih banyak pekerjaan untuk memastikan aplikasi mereka bekerja pada perangkat keras yang berbeda.
Semakin banyak tugas AI yang ditangani pada perangkat konsumen, semakin sedikit yang harus dibelanjakan perusahaan AI untuk pembangunan pusat data masif yang membuat setiap perusahaan teknologi besar berebut uang dan chip komputer. “Biaya infrastrukturnya sangat besar,” kata Sukumar. “Jika Anda benar-benar ingin mendorong skala, Anda tidak ingin mendorong beban biaya itu.”
Bagi pencipta yang menggunakan AI untuk pengeditan video atau foto, menjalankan model itu pada perangkat keras Anda sendiri memiliki manfaat menghindari biaya berlangganan atau penggunaan berbasis *cloud* yang mahal. Di CES, kami melihat bagaimana komputer khusus atau perangkat khusus, seperti Nvidia DGX Spark, dapat menggerakkan model generasi video intensif seperti Lightricks-2.
Masa Depan Semua tentang Kecepatan
Terutama ketika menyangkut fungsi pada perangkat seperti kacamata, jam tangan, dan ponsel, banyak dari kegunaan genuin AI dan *machine learning* tidak seperti chatbot yang saya gunakan untuk membuat cerita kucing