Saya telah beralih ke kecerdasan buatan yang diinstal secara lokal untuk penelitian karena saya tidak ingin pihak ketiga menggunakan informasi saya untuk membangun profil atau melatih model bahasa lokal mereka (LLM).
Pilihan AI lokal saya adalah Ollama sumber terbuka. Saya baru-baru ini menulis sebuah artikel tentang bagaimana membuat penggunaan LLM lokal ini lebih mudah dengan bantuan ekstensi browser, yang saya gunakan di Linux. Tetapi di MacOS, saya beralih ke aplikasi gratis yang mudah digunakan bernama Msty.
Msty memungkinkan Anda menggunakan model AI yang diinstal secara lokal dan online. Namun, saya default ke opsi yang diinstal secara lokal. Dan, tidak seperti opsi lain untuk Ollama, tidak ada wadah yang harus diterapkan, tidak ada terminal yang digunakan, dan tidak perlu membuka tab browser lain.
Msty memiliki fitur-fitur seperti obrolan terbagi (sehingga Anda dapat menjalankan lebih dari satu query sekaligus), menghasilkan kembali respons model, mengkloning obrolan, menambahkan beberapa model, memanggil data real-time (yang hanya berfungsi dengan model tertentu), membuat Tumpukan Pengetahuan (di mana Anda dapat menambahkan file, folder, vault Obsidian, catatan, dan lainnya untuk digunakan melatih model lokal Anda), perpustakaan prompt, dan lainnya.
Msty adalah salah satu alat terbaik untuk berinteraksi dengan Ollama. Berikut cara menggunakannya.
Menginstal Msty
Apa yang Anda butuhkan: Satu-satunya hal yang Anda butuhkan untuk ini adalah perangkat MacOS, dan Ollama diinstal dan berjalan. Jika Anda belum menginstal Ollama, lakukan itu terlebih dahulu (berikut cara melakukannya). Anda juga perlu menarik salah satu model lokal (yang ditunjukkan dalam artikel di atas).
Beralih ke situs web Msty, klik turunannya Unduh Msty, pilih Mac, dan kemudian pilih Apple Silicon atau Intel.
Ketika instalasi selesai, klik dua kali pada file dan, saat diminta, seret ikon Msty ke folder Aplikasi.
Menggunakan Msty
1. Buka Msty
Selanjutnya, buka Launchpad dan temukan peluncur untuk Msty. Klik peluncurnya untuk membuka aplikasi.
2. Hubungkan model Ollama lokal Anda
Ketika pertama kali menjalankan Msty, klik Atur AI Lokal dan itu akan mengunduh komponen yang diperlukan. Setelah unduhan selesai, itu akan mengurus konfigurasi dan mengunduh model lokal selain Ollama.
Untuk menghubungkan Msty ke Ollama, klik Model AI Lokal di sidebar dan kemudian klik tombol unduh yang terkait dengan Llama 3.2. Setelah diunduh, Anda dapat memilihnya dari menu model. Anda juga dapat menambahkan model lain, di mana Anda perlu mengambil kunci API dari akun Anda untuk model itu. Msty sekarang harus terhubung ke Ollama LLM lokal.
Saya lebih suka menggunakan model lokal Ollama.
Pada titik ini, Anda dapat mengetik kueri pertama Anda dan menunggu responsnya.
Instruksi Model
Salah satu fitur keren dari Msty adalah memungkinkan Anda mengubah instruksi model.
Misalnya, Anda mungkin ingin menggunakan LLM lokal sebagai dokter yang dibantu AI, untuk menulis, akuntansi, sebagai ahli antropolog asing, atau sebagai penasihat artistik.
Untuk mengubah instruksi model, klik Edit Instruksi Model di tengah aplikasi dan kemudian klik tombol obrolan kecil di sebelah kiri ikon sapu.
Dari menu popup, Anda dapat memilih instruksi yang ingin Anda terapkan. Klik “Terapkan ke obrolan ini” sebelum menjalankan kueri pertama Anda.
Anda dapat memilih dari beberapa instruksi model untuk menyempurnakan kueri Anda.
Terdapat banyak hal lain yang bisa dilakukan Msty, tetapi panduan ini akan membuat Anda cepat berjalan. Saya sarankan mulai dengan dasar-dasar dan, saat Anda terbiasa dengan aplikasi, menjelajahi proses yang lebih rumit.