Meskipun Apple awalnya tertunda dalam memasuki ruang AI, setelah Konferensi Pengembang Apple Worldwide, perusahaan telah sepenuhnya fokus pada AI. Apple Intelligence akan menawarkan solusi AI untuk hampir semua penawaran Apple, dan perusahaan tidak berhenti di situ. Sebaliknya, Apple kini semakin maju ke dalam model bahasa AI.
Kamis lalu, Apple merilis DCLM-Baseline-7B, sebuah model bahasa 7 miliar parameter, di Hugging Face. Model ini merupakan bagian dari benchmark DataComp for Language Models (DCLM), sebuah inisiatif untuk meningkatkan kualitas dataset pelatihan untuk model bahasa.
Meskipun performanya mengesankan, salah satu keunggulan terbesar dari DCLM-Baseline-7B adalah bahwa model ini benar-benar sumber terbuka, dengan “data terbuka, model berat terbuka, kode pelatihan terbuka,” seperti yang disorot oleh Vaishaal Shankar, seorang ilmuwan peneliti di Apple.
Banyak yang memuji Apple atas pendekatan ini karena memungkinkan peneliti dan pengembang lain untuk membangun model tersebut dan lebih lanjut mengembangkan kemajuan di bidang tersebut. Model ini dilatih pada data DCLM-BASELINE, dikombinasikan dengan data StarCoder dan ProofPile2, untuk mencapai keahlian dalam tugas-tugas lain seperti coding dan matematika.
Selain merilis DCLM-Baseline-7B, bobot model, kode pelatihan, dan dataset, Apple juga menyertakan versi berparameter 1,4 miliar yang kuat dalam paket tersebut. Ini bukan kali pertama Apple dengan model AI, setelah merilis lainnya seperti Ferret-UI, sebuah model bahasa besar multimodal (MLLM), dan Reference Resolution As Language Modeling (ReALM), sebuah sistem AI percakapan. Pada musim gugur, ketika iOS 18 dan Apple Intelligence tersedia, kita akan bisa melihat Apple bersaing di ruang AI dan lebih baik menilai potensi kesuksesan upayanya di bidang AI.