Pada hari Senin yang lalu, sekitar dua belas insinyur dan eksekutif di perusahaan ilmu data dan kecerdasan buatan Databricks berkumpul di ruang konferensi yang terhubung melalui Zoom untuk mengetahui apakah mereka telah berhasil membangun model bahasa kecerdasan buatan teratas. Tim telah menghabiskan berbulan-bulan, dan sekitar $10 juta, melatih DBRX, sebuah model bahasa besar yang mirip dengan yang ada di balik ChatGPT dari OpenAI. Namun, mereka tidak akan tahu seberapa kuat ciptaan mereka sampai hasil pengujian akhir kemampuannya keluar.
“Kami telah melebihi segalanya,” kata Jonathan Frankle, arsitek jaringan saraf utama di Databricks dan pemimpin tim yang membangun DBRX, akhirnya memberi tahu tim, yang merespons dengan sorakan, tepuk tangan, dan emoji tepuk tangan. Frankle biasanya menghindari kafein tetapi sedang menyeruput iced latte setelah begadang untuk menulis hasil.
Databricks akan merilis DBRX di bawah lisensi sumber terbuka, memungkinkan orang lain membangun di atas karyanya. Frankle membagikan data yang menunjukkan bahwa melintasi sekitar satu lusin atau lebih benchmark yang mengukur kemampuan model kecerdasan buatan untuk menjawab pertanyaan pengetahuan umum, melakukan pemahaman bacaan, memecahkan teka-teki logika yang sulit, dan menghasilkan kode berkualitas tinggi, DBRX lebih baik daripada setiap model sumber terbuka lainnya yang tersedia.
Pembuat keputusan kecerdasan buatan: Jonathan Frankle, Naveen Rao, Ali Ghodsi, dan Hanlin Tang. Fotografi: Gabriela Hasbun
Ini melampaui Llama 2 dari Meta dan Mixtral dari Mistral, dua model kecerdasan buatan sumber terbuka paling populer yang tersedia saat ini. “Ya!” teriak Ali Ghodsi, CEO Databricks, ketika skor muncul. “Tunggu, apakah kita mengalahkan hal milik Elon?” Frankle menjawab bahwa mereka memang telah melampaui model AI Grok yang baru-baru ini dirilis sebagai sumber terbuka oleh xAI milik Musk, menambahkan, “Saya akan menganggapnya sebagai keberhasilan jika kita mendapat tweet negatif dari dia.”
Untuk kejutan tim, dalam beberapa skor DBRX juga sangat mendekati GPT-4, model tertutup OpenAI yang menggerakkan ChatGPT dan secara luas dianggap sebagai puncak kecerdasan mesin. “Kami telah menetapkan standar baru untuk LLM sumber terbuka,” kata Frankle dengan senyum super besar.
Blok Bangunan
Dengan open-source, DBRX Databricks menambahkan momentum lebih lanjut pada gerakan yang menantang pendekatan rahasia dari perusahaan-perusahaan paling terkemuka dalam booming kecerdasan buatan generatif saat ini. OpenAI dan Google menyimpan kode untuk model bahasa besar mereka GPT-4 dan Gemini dengan erat, tetapi beberapa pesaing, terutama Meta, telah merilis model mereka untuk digunakan oleh orang lain, dengan argumen bahwa akan mendorong inovasi dengan menempatkan teknologi ini di tangan lebih banyak peneliti, pengusaha, startup, dan bisnis mapan.
Databricks mengatakan juga ingin membuka tentang pekerjaan yang terlibat dalam menciptakan model sumber terbuka mereka, sesuatu yang tidak dilakukan Meta untuk beberapa detail penting tentang penciptaan model Llama 2 mereka. Perusahaan akan merilis sebuah posting blog yang mendetail tentang pekerjaan yang terlibat dalam menciptakan model, dan juga mengundang WIRED untuk menghabiskan waktu dengan insinyur Databricks saat mereka membuat keputusan kunci selama tahap akhir dari proses pelatihan multimiliar dolar untuk melatih DBRX. Itu memberikan sekilas tentang seberapa kompleks dan menantangnya membangun model AI terkemuka – tetapi juga bagaimana inovasi terbaru di bidang ini menjanjikan untuk menurunkan biaya. Itu, digabungkan dengan ketersediaan model sumber terbuka seperti DBRX, menunjukkan bahwa pengembangan AI tidak akan melambat dalam waktu dekat.
Ali Farhadi, CEO dari Allen Institute for AI, mengatakan bahwa transparansi yang lebih besar seputar pembangunan dan pelatihan model AI sangat diperlukan. Bidang ini telah menjadi semakin rahasia dalam beberapa tahun terakhir karena perusahaan telah mencari keunggulan atas pesaing. Kehalaman terutama penting ketika ada kekhawatiran tentang risiko yang dapat ditimbulkan oleh model AI canggih, katanya. “Saya sangat senang melihat upaya dalam keterbukaan,” kata Farhadi. “Saya percaya sebagian besar pasar akan beralih ke model terbuka. Kami membutuhkan lebih banyak ini.”