Pada Kamis, lab Prancis Mistral AI meluncurkan Small 3, yang perusahaan sebut sebagai “model paling efisien di kategorinya” dan diklaim dioptimalkan untuk latensi. Mistral mengatakan Small 3 dapat bersaing dengan Llama 3.3 70B dan Qwen 32B, di antara model-model besar lainnya, dan ini “pengganti terbuka yang sangat baik untuk model-model propietary yang tidak transparan seperti GPT4o-mini.” Seperti model-model Mistral lainnya, Small 3 yang berparameter 24B adalah open-source, dirilis di bawah lisensi Apache 2.0. Dirancang untuk penggunaan lokal, Small 3 memberikan dasar untuk membangun kemampuan penalaran, kata Mistral. “Small 3 unggul dalam skenario di mana respon cepat dan akurat sangat penting,” lanjut rilis tersebut, mencatat bahwa model ini memiliki lapisan yang lebih sedikit dibandingkan model-model sejenis, yang membantu kecepatannya. Model ini mencapai akurasi lebih dari 81% dalam uji benchmark MMLU, dan tidak dilatih dengan reinforcement learning (RL) atau data sintetis, yang menurut Mistral membuatnya “lebih awal dalam jalur produksi model” daripada DeepSeek R1. “Model yang disesuaikan dengan instruksi kami bersaing dengan model bobot terbuka tiga kali ukurannya dan dengan model GPT4o-mini propietary melintasi benchmark Code, Math, Pengetahuan Umum, dan Mengikuti Instruksi,” catatan pengumuman tersebut. Menggunakan vendor pihak ketiga, Mistral memiliki penilai manusia menguji Small 3 dengan lebih dari 1.000 kode dan seruan umum. Sebagian besar penilai lebih memilih Small 3 daripada Gemma-2 27B dan Qwen-2.5 32B, tetapi angka lebih merata ketika Small 3 berhadapan dengan Llama-3.3 70B dan GPT-4o mini. Mistral mengakui perbedaan dalam penilaian manusia yang membuat uji ini berbeda dari benchmark publik standar. Mistral merekomendasikan Small 3 untuk membangun asisten virtual yang menghadapi pelanggan, terutama untuk kebutuhan pemrosesan cepat seperti deteksi penipuan dalam layanan keuangan, saran hukum, dan kesehatan, karena dapat disesuaikan untuk menciptakan “ahli subjek yang sangat akurat,” menurut rilis tersebut. Small 3 juga dapat digunakan untuk robotika dan manufaktur dan mungkin ideal untuk “penghobi dan organisasi yang menangani informasi sensitif atau propietary,” karena dapat dijalankan pada MacBook dengan minimal 32GB RAM. Mistral memberikan bocoran bahwa kita dapat mengharapkan model-model lain dengan ukuran yang bervariasi “dengan kemampuan penalaran yang ditingkatkan dalam beberapa minggu mendatang.” Anda dapat mengakses Small 3 di HuggingFace di sini.
