Dunia kecerdasan buatan (AI) sebagian besar berada di fasilitas komputasi awan dan jarang menyentuh ponsel pintar Anda. Ketika Anda menggunakan alat seperti ChatGPT untuk menjawab permintaan, pekerjaan keras dalam melatih program agar berfungsi dengan baik telah dilakukan beberapa hari, minggu, dan bulan sebelumnya, di balik layar, di pusat data AI besar yang dibangun oleh Microsoft dan perusahaan lainnya. Namun, tahun 2024 bisa menjadi tahun ketika pemisahan ini teratasi – dan mungkin menjadi saat ketika AI mulai belajar di dalam saku Anda. Upaya sedang dilakukan untuk memungkinkan melatih jaringan saraf – bahkan model bahasa besar (LLM) – di perangkat pribadi Anda, dengan sedikit atau tanpa koneksi ke awan.
Manfaat yang paling jelas dari pelatihan di perangkat termasuk: menghindari penundaan yang terjadi karena harus terhubung ke awan; belajar dari informasi lokal secara konstan dan personal; dan menjaga privasi yang akan dilanggar dengan mengirimkan data pribadi ke pusat data awan. Dampak dari pelatihan di perangkat bisa menjadi transformasi dalam kemampuan jaringan saraf. AI bisa dipersonalisasi untuk tindakan Anda saat Anda berjalan-jalan, mengetuk, menggulir, dan menyeret. AI bisa belajar dari lingkungan yang Anda lewati selama rutinitas harian Anda, mengumpulkan tanda-tanda tentang dunia.
Karya terbaru oleh insinyur Apple menunjukkan bahwa perusahaan ini berusaha untuk membawa jaringan saraf yang lebih besar, jenis “generative” yang diwakili oleh ChatGPT dari OpenAI, untuk dijalankan secara lokal di iPhone. Lebih luas lagi, Google memperkenalkan pendekatan AI yang lebih sederhana yang disebut TinyML beberapa tahun yang lalu. TinyML dapat menjalankan jaringan saraf di perangkat dengan daya sekecil miliwatt, seperti sensor pintar yang ditempatkan pada mesin. Tantangan yang lebih besar bagi perusahaan teknologi adalah membuat jenis jaringan saraf tersebut tidak hanya melakukan prediksi pada ponsel, tetapi juga belajar hal-hal baru pada ponsel – melakukan pelatihan secara lokal. Upaya tersebut membutuhkan daya pemrosesan yang lebih besar, memori yang lebih besar, dan bandwidth yang lebih besar bagi komputer apa pun untuk melatih jaringan saraf daripada menggunakan jaringan saraf yang sudah jadi untuk membuat prediksi.
Upaya telah dilakukan untuk menaklukkan gunung komputasi tersebut dengan melakukan hal-hal seperti memperbarui hanya bagian-bagian tertentu dari “bobot” atau “parameter” jaringan saraf. Salah satu upaya tersebut adalah TinyTL dari MIT, yang menggunakan apa yang disebut transfer learning sebagai cara untuk menyempurnakan jaringan saraf yang sudah sebagian besar dilatih. Hingga saat ini, TinyTL hanya digunakan untuk hal-hal kecil, seperti pengenalan wajah. Namun, saat ini teknologi sedang bergerak untuk menangani LLM dari AI generatif, termasuk GPT-4 dari OpenAI. LLM memiliki ratusan miliar bobot saraf yang perlu disimpan dalam memori, dan kemudian dilewatkan ke prosesor untuk diperbarui saat informasi baru masuk. Tantangan pelatihan ini dilakukan dalam skala yang belum pernah dicoba sebelumnya.
Laporan penelitian bulan ini oleh staf dari perusahaan pembuat chip Eropa, STMicroelectronics, menyatakan bahwa tidak cukup dalam upaya pelatihan ini hanya melakukan inferensi pada perangkat seluler – alih-alih itu, perangkat klien juga harus melatih jaringan saraf untuk menjaganya tetap segar. Penulis laporan tersebut menyarankan untuk menyederhanakan jaringan saraf agar lebih mudah melatih model pada perangkat dengan memori terbatas. Secara khusus, mereka bereksperimen dengan menghilangkan apa yang disebut “back-propagation”, metode matematika dalam LLM yang paling intensif dalam komputasi. Pau dan Aymone menemukan bahwa menggantikan back-propagation dengan matematika yang lebih sederhana dapat mengurangi jumlah memori perangkat yang diperlukan untuk bobot saraf hingga 94%.
Beberapa ilmuwan menganjurkan untuk membagi tugas pelatihan di antara banyak perangkat klien, yang disebut “federated learning”. Peneliti Chu Myaet Thwal dan timnya di Universitas Kyung Hee bulan ini mengadaptasi bentuk LLM yang digunakan untuk pengenalan gambar melalui sebanyak 50 komputer workstation, masing-masing menjalankan satu kartu GPU gaming Nvidia. Kode mereka membutuhkan lebih sedikit memori pada perangkat untuk dilatih daripada versi standar jaringan saraf tanpa mengorbankan akurasi.
Namun, beberapa ahli berpendapat bahwa komunikasi jaringan harus disesuaikan sehingga perangkat seluler dapat berkomunikasi lebih baik saat melakukan federated learning. Para sarjana di Institut Teknik Elektro dan Elektronik menghipotesiskan jaringan komunikasi menggunakan standar 6G yang akan datang, di mana sebagian besar pelatihan LLM dilakukan terlebih dahulu di pusat data. Kemudian, awan mengkoordinasikan sekelompok perangkat klien yang “menyempurnakan” LLM dengan data lokal mereka.
Banyak pendekatan bertujuan untuk mengurangi memori dan pemrosesan yang diperlukan untuk setiap bobot saraf. Pendekatan utama adalah apa yang disebut “binary neural networks”, di mana bobot tidak memiliki nilai numerik, tetapi hanya satu atau nol, yang secara signifikan mengurangi jumlah penyimpanan perangkat yang diperlukan.
Banyak kekhawatiran teknis yang disebutkan di atas terdengar abstrak, tetapi pertimbangkan beberapa contoh penggunaan pelatihan jaringan saraf secara lokal. Tim di Universitas Nanyang Technological di Singapura bulan ini menggunakan pembelajaran di perangkat untuk melawan ancaman siber dengan setiap perangkat individu melatih versi lokal mereka sendiri dari sistem deteksi intrusi berbasis AI, yang merupakan program keamanan siber umum. Alih-alih perangkat klien harus berinteraksi dengan server pusat, tim tersebut dapat mengunduh draf awal kode IDS dan kemudian menyempurnakannya sesuai dengan kondisi keamanan lokal. Pelatihan seperti ini tidak hanya lebih spesifik terhadap ancaman keamanan lokal, tetapi juga mencegah pertukaran informasi keamanan sensitif di jaringan, di mana hal itu bisa disadap oleh pihak jahat.
Apple dikabarkan tengah mempertimbangkan fungsionalitas AI yang lebih besar untuk perangkat iOS dan telah memberikan petunjuk tentang apa yang bisa diselesaikan dalam konteks seluler. Dalam sebuah makalah pada bulan Agustus, para ilmuwan Apple menjelaskan cara untuk secara otomatis mempelajari kualitas aplikasi seluler, yang disebut Never-ending UI Learner. Program ini berjalan di smartphone dan secara otomatis menekan tombol dan melakukan interaksi lainnya untuk menentukan jenis kontrol yang diperlukan oleh antarmuka pengguna. Tujuannya adalah menggunakan setiap perangkat untuk secara otomatis belajar, daripada mengandalkan sekelompok pekerja manusia yang menghabiskan waktu mereka menekan tombol dan memberi anotasi fungsi aplikasi.
Eksperimen ini dilakukan dalam pengaturan yang terkontrol oleh staf Apple. Jika percobaan tersebut dilakukan dengan pengguna iPhone yang sebenarnya, maka “diperlukan pendekatan yang menjaga privasi (misalnya, pelatihan di perangkat),” tulis para penulis.
Konsep berbasis seluler lainnya dijelaskan oleh para ilmuwan Apple pada tahun 2022 dalam makalah berjudul “Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices”. Tujuan mereka adalah untuk melatih AI pengenalan suara pada perangkat seluler menggunakan pendekatan federated learning. Setiap perangkat individu menggunakan sampel interaksi dengan “asisten suara” (mungkin Siri) untuk melatih jaringan saraf. Kemudian, parameter jaringan saraf yang dikembangkan oleh setiap telepon dikirim ke jaringan, di mana mereka digabungkan untuk membuat satu jaringan saraf yang lebih baik.
Kesimpulan utama dari semua upaya penelitian ini adalah bahwa para ilmuwan sedang bekerja keras mencari cara untuk mengompresi dan membagi pekerjaan pelatihan agar layak dilakukan pada perangkat bertenaga baterai dengan memori dan daya pemrosesan yang lebih sedikit daripada workstation dan server. Apakah upaya penelitian ini berhasil pada tahun 2024 masih harus dilihat. Namun, yang sudah jelas adalah pelatihan jaringan saraf akan berpindah dari awan dan mungkin berada di dalam genggaman tangan Anda.