Saat saya mengetuk aplikasi Claude AI milik Anthropic di ponsel dan memberikannya sebuah perintah — misalnya, “Ceritakan kisah tentang kucing yang nakal” — banyak hal terjadi sebelum hasilnya (“Pencurian Tuna Besar”) muncul di layar saya.
Permintaan saya dikirim ke *awan* — sebuah komputer di pusat data besar di suatu tempat — untuk diproses melalui model bahasa besar Sonnet 4.5 milik Claude. Model itu merakit respons yang masuk akal menggunakan teks prediktif canggih, berdasarkan data dalam jumlah masif yang digunakan untuk melatihnya. Respons itu kemudian dirutekan kembali ke iPhone saya, muncul kata demi kata, baris demi baris, di layar. Ia telah menempuh perjalanan ratusan, bahkan ribuan mil, dan melewati berbagai komputer dalam perjalanan bolak-balik ke ponsel kecil saya. Dan itu semua terjadi dalam hitungan detik.
Sistem ini bekerja dengan baik jika yang Anda lakukan tidak terlalu krusial dan kecepatan bukanlah masalah besar. Saya bisa menunggu beberapa detik untuk cerita kecil tentang Whiskers dan petualangannya di lemari dapur. Namun, tidak setiap tugas kecerdasan artifisial seperti itu. Beberapa membutuhkan kecepatan yang sangat tinggi. Jika sebuah perangkat AI akan memperingatkan seseorang tentang penghalang di jalurnya, ia tidak bisa menunggu satu atau dua detik.
Permintaan lain membutuhkan privasi lebih. Saya tidak peduli jika cerita kucing itu melewati lusinan komputer milik orang dan perusahaan yang tidak saya kenal dan mungkin tidak saya percayai. Tapi bagaimana dengan informasi kesehatan saya, atau data finansial saya? Saya mungkin ingin mengendalikan itu dengan lebih ketat.
Jangan lewatkan konten teknologi tanpa bias dan ulasan berbasis lab kami. Tambahkan CNET sebagai sumber Google pilihan.
Kecepatan dan privasi adalah dua alasan utama mengapa pengembang teknologi semakin menggeser pemrosesan AI dari pusat data korporat yang masif ke perangkat pribadi seperti ponsel, laptop, atau jam tangan pintar Anda. Ada pula penghematan biaya: tidak perlu membayar operator pusat data besar. Plus, model *on-device* dapat bekerja tanpa koneksi internet.
Tapi untuk memungkinkan pergeseran ini, diperlukan perangkat keras yang lebih baik dan model AI yang lebih efisien — seringkali lebih terspesialisasi. Konvergensi kedua faktor ini pada akhirnya akan membentuk seberapa cepat dan mulus pengalaman Anda pada perangkat seperti ponsel.
Mahadev Satyanarayanan, yang dikenal sebagai Satya, adalah profesor ilmu komputer di Carnegie Mellon University. Ia telah lama meneliti apa yang dikenal sebagai komputasi *edge* — konsep menangani pemrosesan dan penyimpanan data sedekat mungkin dengan pengguna sebenarnya. Ia mengatakan model ideal untuk komputasi *edge* sejati adalah otak manusia, yang tidak mengalihkan tugas seperti penglihatan, pengenalan, ucapan, atau kecerdasan ke *”awan”* apa pun. Semuanya terjadi di sana, sepenuhnya *”on-device”*.
“Ini masalahnya: Alam butuh satu miliar tahun untuk mengembangkan kita,” katanya kepada saya. “Kita tidak punya satu miliar tahun untuk menunggu. Kami mencoba melakukan ini dalam lima atau sepuluh tahun, paling lama. Bagaimana kami akan mempercepat evolusi?”
Anda mempercepatnya dengan AI yang lebih baik, lebih cepat, lebih kecil yang berjalan pada perangkat keras yang lebih baik, lebih cepat, lebih kecil. Dan seperti yang sudah kita lihat dengan aplikasi dan perangkat terbaru — termasuk yang diharapkan di CES 2026 — ini sudah berjalan dengan baik.
AI Mungkin Sedang Berjalan di Ponsel Anda Saat Ini
AI *on-device* jauh dari hal baru. Ingat pada 2017 ketika Anda pertama kali bisa membuka kunci iPhone dengan mengarahkannya ke wajah Anda? Teknologi pengenalan wajah itu menggunakan mesin neural *on-device* — itu bukan AI generatif seperti Claude atau ChatGPT, tetapi itu adalah kecerdasan artifisial fundamental.
iPhone saat ini menggunakan model AI *on-device* yang jauh lebih kuat dan serbaguna. Ia memiliki sekitar 3 miliar parameter — kalkulasi individu dari bobot yang diberikan pada suatu probabilitas dalam model bahasa. Itu relatif kecil dibandingkan dengan model serba guna besar yang digunakan oleh sebagian besar chatbot AI. Deepseek-R1, misalnya, memiliki 671 miliar parameter. Tapi itu tidak dimaksudkan untuk melakukan segalanya. Sebaliknya, ia dibangun untuk tugas-tugas *on-device* spesifik seperti meringkas pesan. Sama seperti teknologi pengenalan wajah untuk membuka kunci ponsel, ini adalah sesuatu yang tidak bisa bergantung pada koneksi internet untuk menjalankan model di awan.
Apple telah meningkatkan kemampuan AI *on-device*-nya — yang dijuluki Apple Intelligence — untuk menyertakan fitur pengenalan visual, seperti memungkinkan Anda mencari sesuatu yang Anda ambil screenshot-nya.
Model AI *on-device* ada di mana-mana. Ponsel Pixel milik Google menjalankan model Gemini Nano perusahaan di chip Tensor G5 kustomnya. Model itu menggerakkan fitur-fitur seperti Magic Cue, yang menampilkan informasi dari email, pesan, dan lainnya — tepat saat Anda membutuhkannya — tanpa harus mencarinya secara manual.
Pengembang ponsel, laptop, tablet, dan perangkat keras di dalamnya sedang membangun perangkat dengan mempertimbangkan AI. Tapi ini melampaui perangkat-perangkat itu. Bayangkan jam tangan dan kacamata pintar, yang menawarkan ruang jauh lebih terbatas daripada ponsel tertipis sekalipun?
“Tantangan sistemnya sangat berbeda,” kata Vinesh Sukumar, kepala *generative AI* dan *machine learning* di Qualcomm. “Bisakah saya melakukan semuanya di semua perangkat?”
Saat ini, jawabannya biasanya tidak. Solusinya cukup sederhana. Ketika sebuah permintaan melebihi kapabilitas model, ia mengalihkan tugas tersebut ke model berbasis awan. Tapi tergantung pada bagaimana penyerahan itu dikelola, hal itu dapat merusak salah satu manfaat utama AI *on-device*: menjaga data Anda sepenuhnya di tangan Anda.
AI yang Lebih Privat dan Aman
Para ahli berulang kali menunjuk privasi dan keamanan sebagai keunggulan kunci AI *on-device*. Dalam situasi awan, data beterbangan ke segala arah dan menghadapi lebih banyak momen kerentanan. Jika data tetap berada di drive ponsel atau laptop yang terenkripsi, jauh lebih mudah untuk mengamankannya.
Data yang digunakan oleh model AI perangkat Anda bisa mencakup hal-hal seperti preferensi Anda, riwayat penjelajahan, atau informasi lokasi. Meskipun semua itu penting bagi AI untuk mempersonalisasi pengalaman Anda berdasarkan preferensi Anda, itu juga jenis informasi yang mungkin tidak ingin Anda jatuh ke tangan yang salah.
“Apa yang kami perjuangkan adalah memastikan pengguna memiliki akses dan merupakan pemilik tunggal data itu,” kata Sukumar.
Apple Intelligence memberikan tampilan baru pada Siri di iPhone.
Numi Prasarn/CNET
Ada beberapa cara berbeda penanganan pengalihan informasi untuk melindungi privasi Anda. Salah satu faktor kunci adalah Anda harus memberikan izin untuk hal itu terjadi. Sukumar mengatakan tujuan Qualcomm adalah memastikan orang diberi tahu dan memiliki kemampuan untuk mengatakan tidak ketika sebuah model mencapai titik pengalihan ke awan.
Pendekatan lain — dan yang dapat bekerja berdampingan dengan persyaratan izin pengguna — adalah memastikan bahwa data apa pun yang dikirim ke awan ditangani dengan aman, singkat, dan sementara. Apple, misalnya, menggunakan teknologi yang disebutnya Private Cloud Compute. Data yang dialihkan hanya diproses di server Apple sendiri, hanya data minimal yang dibutuhkan untuk tugas yang dikirim, dan tidak ada yang disimpan atau diakses oleh Apple.
AI Tanpa Biaya AI
Model AI yang berjalan di perangkat datang dengan keunggulan bagi pengembang aplikasi dan pengguna bahwa biaya berkelanjutan untuk menjalankannya pada dasarnya tidak ada. Tidak ada perusahaan layanan awan yang harus dibayar untuk energi dan daya komputasi. Semuanya ada di ponsel Anda. Kantong Andalah pusat datanya.
Itulah yang menarik Charlie Chapman, pengembang aplikasi mesin suara bernama Dark Noise, untuk menggunakan Apple’s Foundation Models Framework untuk alat yang memungkinkan Anda membuat campuran suara. Model AI *on-device* tidak menghasilkan audio baru, hanya memilih suara dan tingkat volume yang berbeda yang sudah ada untuk membuat satu campuran.
Karena AI berjalan *on-device*, tidak ada biaya berkelanjutan saat Anda membuat campuran. Bagi pengembang kecil seperti Chapman, itu berarti ada lebih sedikit risiko yang terkait dengan skala basis pengguna aplikasinya. “Jika beberapa *influencer* secara acak memposting tentangnya dan saya mendapat banyak pengguna gratis, itu tidak berarti saya tiba-tiba akan bangkrut,” kata Chapman.
Baca selengkapnya: AI Essentials: 29 Cara Anda Dapat Membuat Gen AI Bekerja untuk Anda, Menurut Para Ahli Kami
Ketiadaan biaya berkelanjutan dari AI *on-device* memungkinkan tugas-tugas kecil dan berulang seperti entri data untuk diotomatisasi tanpa biaya besar atau kontrak komputasi, kata Chapman. Kekurangannya adalah model *on-device* berbeda berdasarkan perangkat, jadi pengembang harus melakukan lebih banyak pekerjaan untuk memastikan aplikasi mereka bekerja di perangkat keras yang berbeda.
Semakin banyak tugas AI ditangani di perangkat konsumen, semakin sedikit perusahaan AI harus mengeluarkan biaya untuk pembangunan pusat data masif yang membuat setiap perusahaan teknologi besar berebut uang dan chip komputer. “Biaya infrastrukturnya sangat besar,” kata Sukumar. “Jika Anda benar-benar ingin mendorong skala, Anda tidak ingin mendorong beban biaya itu.”
Masa Depan Semua Tentang Kecepatan
Terutama ketika menyangkut fungsi pada perangkat seperti kacamata, jam tangan, dan ponsel, banyak dari kegunaan asli AI dan *machine learning* tidak seperti chatbot yang saya gunakan untuk membuat cerita kucing di awal artikel ini. Itu adalah hal-hal seperti pengenalan objek, navigasi, dan terjemahan. Itu membutuhkan model dan perangkat keras yang lebih terspesialisasi — tetapi mereka juga membutuhkan kecepatan lebih.
Satya, profesor Carnegie Mellon, telah meneliti berbagai penggunaan model AI dan apakah mereka dapat bekerja dengan cukup akurat dan cepat menggunakan model *on-device*. Ketika menyangkut klasifikasi gambar objek, teknologi saat ini cukup baik — ia mampu memberikan hasil yang akurat dalam 100 milidetik. “Lima tahun lalu, kami sama sekali tidak bisa mendapatkan akurasi dan kecepatan seperti itu,” katanya.
Screenshot yang dipotong dari rekaman video yang diambil dengan kacamata Oakley Meta Vanguard AI ini menunjukkan metrik latihan yang diambil dari jam tangan Garmin yang dipasangkan.
Vanessa Hand Orellana/CNET
Tapi untuk empat tugas lain — deteksi objek, segmentasi instan (kemampuan mengenali objek dan bentuknya), pengenalan aktivitas, dan pelacakan objek — perangkat masih perlu mengalihkan ke komputer yang lebih kuat di tempat lain.
“Saya pikir dalam beberapa tahun ke depan, sekitar lima tahun, akan sangat menarik karena vendor perangkat keras terus berusaha membuat perangkat seluler lebih disetel untuk AI,” kata Satya. “Pada saat yang sama kami juga memiliki algoritma AI sendiri yang menjadi lebih kuat, lebih akurat, dan lebih intensif komputasi.”
Peluangnya sangat besar. Satya mengatakan perangkat di masa depan mungkin dapat menggunakan *computer vision* untuk memperingatkan Anda sebelum Anda tersandung trotoar yang tidak rata atau mengingatkan Anda siapa yang sedang Anda ajak bicara dan memberikan konteks tentang komunikasi masa lalu Anda dengan mereka. Hal-hal semacam ini akan membutuhkan AI yang lebih terspesialisasi dan perangkat keras yang lebih terspesialisasi.
“Ini akan muncul,” kata Satya. “Kami dapat melihat mereka di cakrawala, tetapi mereka belum ada di sini.”