Sara Hooker, seorang peneliti AI dan pendukung untuk sistem AI yang lebih murah yang menggunakan daya komputasi lebih sedikit, sedang memulai bisnisnya sendiri.
Dulu dia adalah Wakil Presiden Riset di perusahaan AI Cohere dan juga pernah bekerja di Google DeepMind. Dia telah mengumpulkan dana sebesar $50 juta untuk startup barunya, Adaption Labs.
Hooker dan pendiri bersama Sudip Roy, yang sebelumnya adalah Direktur Inference Computing di Cohere, berusaha menciptakan sistem AI yang menggunakan daya komputasi lebih sedikit dan biaya operasinya lebih murah dibandingkan model AI utama saat ini. Mereka juga menargetkan model yang menggunakan berbagai teknik untuk menjadi lebih "adaptif" terhadap tugas-tugas spesifik yang diberikan. (Makanya startup ini bernama Adaption Labs).
Putaran pendanaan ini dipimpin oleh Emergence Capital Partners, dengan partisipasi dari Mozilla Ventures, perusahaan modal ventura Fifty Years, Threshold Ventures, Alpha Intelligence Capital, e14 Fund, dan Neo. Adaption Labs, yang berbasis di San Francisco, menolak memberikan informasi tentang valuasi perusahaannya setelah penggalangan dana ini.
Hooker mengatakan kepada Fortune bahwa dia ingin membuat model yang bisa belajar terus-menerus tanpa pelatihan ulang atau penyempurnaan yang mahal, dan tanpa rekayasa prompt dan konteks yang rumit yang saat ini banyak digunakan perusahaan untuk menyesuaikan model AI dengan kebutuhan mereka.
Membuat model yang bisa belajar terus-menerus dianggap sebagai salah satu tantangan besar dalam AI. "Ini mungkin masalah terpenting yang pernah saya kerjakan," kata Hooker.
Adaption Labs adalah taruhan besar melawan kebijaksanaan umum di industri AI, yang mengatakan cara terbaik untuk menciptakan model AI yang lebih canggih adalah dengan membuat model bahasa besar (LLM) yang lebih besar dan melatihnya dengan lebih banyak data. Sementara raksasa teknologi menginvestarkan miliaran dolar untuk pelatihan model yang semakin besar, Hooker berargumen bahwa pendekatan ini sudah memberikan hasil yang semakin berkurang. "Kebanyakan lab tidak akan melipatgandakan ukuran model mereka setiap tahun, terutama karena kami melihat kejenuhan dalam arsitekturnya," katanya.
Hooker mengatakan industri AI sedang berada di titik "penghakiman" di mana peningkatan tidak akan lagi datang dari sekadar membangun model yang lebih besar, tetapi dari membangun sistem yang bisa lebih mudah dan murah beradaptasi dengan tugas yang diberikan.
Adaption Labs bukan satu-satunya "neolab" (disebut begitu karena mereka adalah generasi baru lab AI terdepan) yang mengejar arsitektur AI baru untuk mencapai pembelajaran berkelanjutan. Jerry Tworek, seorang peneliti senior OpenAI, baru-baru ini meninggalkan perusahaan itu untuk mendirikan startup-nya sendiri bernama Core Automation, dan mengatakan dia juga tertarik menggunakan metode AI baru untuk menciptakan sistem yang bisa belajar terus-menerus. David Silver, mantan peneliti top Google DeepMind, meninggalkan perusahaan teknologi itu bulan lalu untuk meluncurkan startup bernama Ineffable Intelligence yang akan fokus pada pembelajaran penguatan (reinforcement learning)—di mana sistem AI belajar dari tindakan yang dilakukannya, bukan dari data statis. Ini, dalam beberapa konfigurasi, juga dapat menghasilkan model AI yang bisa belajar terus-menerus.
Startup Hooker mengorganisir pekerjaannya di sekitar tiga "pilar": data adaptif (di mana sistem AI menghasilkan dan memanipulasi data yang mereka butuhkan untuk menjawab suatu masalah secara langsung, alih-alih harus dilatih dari kumpulan data statis yang besar); kecerdasan adaptif (menyesuaikan secara otomatis berapa banyak daya komputasi yang digunakan berdasarkan kesulitan masalah); dan antarmuka adaptif (belajar dari cara pengguna berinteraksi dengan sistem).
Sejak masa kerjanya di Google, Hooker telah membangun reputasi di kalangan AI sebagai penentang dogma "skala adalah segalanya" yang dipegang banyak rekan peneliti AI-nya. Dalam makalah tahun 2020 yang banyak dikutip berjudul "The Hardware Lottery," dia berargumen bahwa ide-ide dalam AI sering berhasil atau gagal berdasarkan apakah mereka cocok dengan perangkat keras yang ada, bukan berdasarkan keunggulan inherentnya. Baru-baru ini, dia menulis makalah penelitian berjudul "On the Slow Death of Scaling," yang berargumen bahwa model yang lebih kecil dengan teknik pelatihan yang lebih baik dapat mengungguli model yang jauh lebih besar.
Di Cohere, dia mendukung proyek Aya, sebuah kolaborasi dengan 3.000 ilmuwan komputer dari 119 negara yang membawa kemampuan AI mutakhir ke dalam puluhan bahasa yang sebelumnya kurang baik kinerjanya pada model-model terdepan—dan dilakukan dengan menggunakan model yang relatif kompak. Pekerjaan ini menunjukkan bahwa pendekatan kreatif terhadap kurasi data dan pelatihan bisa menggantikan skala besar yang mentah.
Salah satu ide yang diselidiki Adaption Labs adalah "pembelajaran tanpa gradien" (gradient-free learning). Semua model AI saat ini adalah jaringan saraf sangat besar yang terdiri dari miliaran neuron digital. Pelatihan jaringan saraf tradisional menggunakan teknik yang disebut penurunan gradien (gradient descent), yang bekerja seperti pendaki yang ditutup matanya mencoba menemukan titik terendah di lembah dengan mengambil langkah-langkah kecil dan merasakan apakah mereka sedang turun. Model membuat penyesuaian kecil ke miliaran pengaturan internal yang disebut "bobot" (weights)—yang menentukan seberapa besar sebuah neuron menekankan masukan dari neuron lain yang terhubung padanya—dan memeriksa setelah setiap langkah apakah jawabannya semakin mendekati benar. Proses ini membutuhkan daya komputasi yang sangat besar dan bisa memakan waktu berminggu-minggu atau berbulan-bulan. Dan sekali model dilatih, bobot-bobot ini terkunci.
Untuk menyempurnakan model untuk tugas tertentu, pengguna terkadang mengandalkan penyempurnaan (fine-tuning). Ini melibatkan pelatihan lebih lanjut model pada kumpulan data yang lebih kecil dan terkurasi—biasanya masih terdiri dari ribuan contoh—dan membuat penyesuaian lebih lanjut pada bobot model. Sekali lagi, ini bisa sangat mahal, kadang mencapai jutaan dolar.
Atau, pengguna cukup mencoba memberi model instruksi atau prompt yang sangat spesifik tentang bagaimana cara menyelesaikan tugas yang diinginkan. Hooker menganggap ini sebagai "akrobat prompt" dan mencatat bahwa prompt sering berhenti bekerja dan perlu ditulis ulang setiap kali versi baru model dirilis.
Dia mengatakan tujuannya adalah "untuk menghilangkan rekayasa prompt."
Pembelajaran tanpa gradien menghindari banyak masalah yang ada pada penyempurnaan dan rekayasa prompt. Daripada mengatur semua bobot internal model dengan pelatihan yang mahal, pendekatan Adaption Labs mengubah cara model bertingkah saat ia merespon sebuah pertanyaan—yang disebut peneliti sebagai "waktu inferensi." Bobot inti model tidak diubah, tapi sistem tetap bisa menyesuaikan perilakunya berdasarkan tugas yang diberikan.
"Bagaimana caranya memperbarui model tanpa menyentuh bobotnya?" kata Hooker. "Ada inovasi yang sangat menarik dalam ruang arsitektur, dan ini memanfaatkan komputasi dengan cara yang jauh lebih efisien."
Dia menyebut beberapa metode berbeda untuk melakukan ini. Salah satunya adalah "penggabungan saat itu juga," di mana sistem memilih dari apa yang pada dasarnya adalah repertoire adapter—seringkali model kecil yang dilatih terpisah pada dataset kecil. Adapter-adapter ini kemudian membentuk respon model utama yang besar. Model memutuskan adapter mana yang akan digunakan tergantung pada pertanyaan yang diajukan pengguna.
Metode lain adalah "dekoding dinamis." Dekoding merujuk pada cara model memilih outputnya dari berbagai kemungkinan jawaban. Dekoding dinamis mengubah probabilitas berdasarkan tugas yang ada, tanpa mengubah bobot dasar model.
"Kita bergerak menjauh dari sekadar sebuah model," kata Hooker. "Ini bagian dari gagasan mendalam—ini berdasarkan interaksi, dan sebuah model harus berubah secara real time berdasarkan apa tugasnya."
Hooker berpendapat bahwa beralih ke metode ini mengubah ekonomi AI secara radikal. "Komputasi yang paling mahal adalah komputasi pra-pelatihan, terutama karena itu jumlah komputasi yang besar, waktu yang besar. Dengan komputasi inferensi, kamu mendapatkan hasil yang jauh lebih banyak untuk [setiap unit daya komputasi]," katanya.
Roy, CTO Adaption, membawa keahlian mendalam dalam membuat sistem AI berjalan efisien. "Rekan pendiri saya membuat GPU berjalan sangat cepat, yang penting bagi kami karena komponen real-time-nya," kata Hooker.
Hooker mengatakan Adaption akan menggunakan pendanaan dari putaran seed-nya untuk merekrut lebih banyak peneliti dan insinyur AI serta untuk merekrut desainer untuk mengerjakan antarmuka pengguna yang berbeda untuk AI, di luar sekadar "bilah chat" standar yang digunakan kebanyakan model AI.