PineconeChatGPT dan program AI generatif lainnya menghasilkan “halusinasi,” yaitu klaim yang salah sebagai fakta, karena program-program tersebut tidak dibangun untuk “mengetahui” apa pun; mereka hanya dibangun untuk menghasilkan rangkaian karakter yang merupakan kelanjutan yang masuk akal dari apa pun yang baru saja Anda ketik. “Jika saya bertanya tentang obat-obatan atau hukum atau beberapa pertanyaan teknis, LLM [large language model] tidak akan memiliki informasi itu, terutama jika informasi tersebut bersifat eksklusif,” kata Edo Liberty, CEO dan pendiri startup Pinecone, dalam wawancara baru-baru ini dengan ZDNET. “Jadi, ia hanya akan membuat sesuatu, yang kami sebut sebagai halusinasi.” Perusahaan Liberty, perusahaan pengembang perangkat lunak yang didukung oleh modal ventura dan berusia empat tahun yang berbasis di New York City, mengkhususkan diri dalam apa yang disebut database vektor. Perusahaan ini telah menerima pendanaan sebesar $138 juta untuk mencapai tujuan mengubah output GenAI yang hanya masuk akal menjadi sesuatu yang lebih berwibawa, sesuatu yang menyerupai pengetahuan sebenarnya. “Hal yang benar untuk dilakukan adalah, ketika Anda memiliki permintaan, prompt, pergilah dan dapatkan informasi relevan dari database vektor, masukkan itu ke dalam jendela konteks, dan tiba-tiba permintaan atau interaksi Anda dengan model bahasa tersebut menjadi lebih efektif,” jelas Liberty. Database vektor adalah salah satu bagian dari upaya yang berkembang pesat yang disebut “retrieval-augmented generation” atau RAG, di mana LLM mencari masukan dari luar dalam membentuk output mereka untuk memperkuat apa yang dapat dilakukan oleh jaringan saraf itu sendiri. Dari semua pendekatan RAG, database vektor adalah salah satu yang memiliki latar belakang penelitian dan industri yang paling mendalam. Database vektor telah ada dalam bentuk sederhana selama lebih dari satu dekade. Dalam peran sebelumnya di perusahaan teknologi besar, Liberty membantu memimpin pengembangan database vektor sebagai proyek tersembunyi. Ia pernah menjabat sebagai kepala riset di Yahoo!, dan sebagai manajer senior riset untuk platform Amazon AWS SageMaker, dan kemudian sebagai kepala Amazon AI Labs. “Jika Anda melihat rekomendasi belanja di Amazon atau peringkat feed di Facebook, atau rekomendasi iklan, atau pencarian di Google, semuanya bekerja di balik layar dengan sesuatu yang efektif adalah database vektor,” kata Liberty kepada ZDNET. Selama bertahun-tahun, database vektor masih menjadi “rahasia yang cukup terjaga” bahkan di kalangan komunitas database, kata Liberty. Database vektor awal bukanlah produk siap pakai. “Setiap perusahaan harus membangun sesuatu secara internal untuk melakukannya,” katanya. “Saya sendiri terlibat dalam membangun beberapa platform yang membutuhkan kemampuan database vektor.” Wawasan Liberty pada tahun-tahun tersebut di Amazon adalah bahwa penggunaan vektor tidak bisa sekadar dimasukkan ke dalam database yang sudah ada. “Ini adalah arsitektur terpisah, ini adalah database terpisah, layanan – ini adalah jenis database baru,” katanya. Sudah jelas, katanya, “kemana arahnya” dengan AI bahkan sebelum ChatGPT. “Dengan model bahasa seperti BERT milik Google, itulah model bahasa pertama yang mulai mendapatkan popularitas di kalangan pengembang rata-rata,” merujuk pada sistem AI generatif milik Google, diperkenalkan pada tahun 2018, pendahulu ChatGPT. “Ketika itu mulai terjadi, itu adalah transisi fase di pasar.” Itu adalah transisi yang harus ia ikuti, katanya. “Saya tahu seberapa sulit dan berapa lama waktu yang diperlukan untuk membangun lapisan database yang mendasar, dan bahwa kami harus memulai lebih awal, karena kami hanya punya beberapa tahun sebelum ini akan digunakan oleh ribuan perusahaan.” Setiap database ditentukan oleh cara data diorganisir, seperti baris dan kolom dalam database relasional, dan cara akses, seperti structured query language dari database relasional. Dalam kasus database vektor, setiap data diwakili oleh apa yang disebut vektor embedding, sekelompok angka yang menempatkan data dalam ruang abstrak – “ruang embedding” – berdasarkan kesamaan. Misalnya, kota London dan Paris lebih dekat satu sama lain dalam ruang kedekatan geografis daripada keduanya dengan New York. Vektor embedding hanyalah cara numerik yang efisien untuk mewakili kesamaan relatif. Dalam ruang embedding, berbagai jenis data dapat diwakili lebih dekat atau lebih jauh berdasarkan kesamaannya. Teks, misalnya, dapat dianggap sebagai kata-kata yang saling dekat, seperti “menduduki” dan “terletak,” yang keduanya lebih dekat satu sama lain daripada dekat dengan kata seperti “didirikan.” Gambar, suara, kode program – segala macam hal dapat direduksi menjadi vektor numerik yang kemudian disematkan berdasarkan kesamaannya. Untuk mengakses database, database vektor mengubah permintaan menjadi vektor, dan vektor itu dibandingkan dengan vektor-vektor dalam database berdasarkan seberapa dekatnya dalam ruang embedding, yang dikenal sebagai “pencarian kesamaan.” Pencocokan terdekat kemudian menjadi output, jawaban atas permintaan. Anda bisa melihat bagaimana ini relevan dengan mesin rekomendasi: dua jenis penyedot debu mungkin lebih dekat satu sama lain daripada keduanya dengan jenis penyedot debu ketiga. Permintaan untuk penyedot debu dapat dipasangkan dengan seberapa dekatnya dengan deskripsi dari ketiga penyedot debu tersebut. Memperluas atau mempersempit permintaan dapat mengarah pada pencarian kesamaan yang lebih luas atau lebih rinci di seluruh ruang embedding. Pencarian kesamaan melintasi vektor embedding saja tidak cukup untuk membuat database. Pada level terbaik, itu adalah indeks sederhana dari vektor untuk pengambilan yang sangat dasar. Menurut Liberty, database vektor harus memiliki sistem manajemen, sama seperti database relasional, sesuatu untuk mengatasi banyak tantangan yang tidak disadari oleh pengguna. Itu termasuk bagaimana menyimpan berbagai vektor di media penyimpanan yang tersedia, dan bagaimana menyusun penyimpanan di sistem terdistribusi, dan bagaimana memperbarui, menambah, dan menghapus vektor dalam sistem. “Itu adalah permintaan yang sangat unik dan sulit dilakukan, dan ketika Anda melakukannya dalam skala besar, Anda harus membangun sistem yang sangat khusus untuk itu,” kata Liberty. “Dan itu harus dibangun dari awal, dalam hal algoritma, struktur data, dan semuanya, dan itu harus berbasis cloud, jika tidak, jujur, Anda tidak bisa mendapatkan keseimbangan biaya, skala, dan kinerja yang membuatnya layak dan masuk akal dalam produksi.” Memasangkan permintaan dengan vektor yang disimpan dalam database jelas cocok dengan model bahasa besar seperti GPT-4. Fungsi utama mereka adalah memasangkan permintaan dalam bentuk vektor dengan data latihan yang telah dikumpulkan, yang diringkas sebagai vektor, dan dengan apa yang telah Anda ketik sebelumnya, juga direpresentasikan sebagai vektor. “Cara LLM [large language models] mengakses data, mereka benar-benar mengakses data dengan vektor itu sendiri,” jelas Liberty. “Bukan metadata, bukan bidang tambahan yang merupakan cara utama informasi tersebut direpresentasikan.” Misalnya, “Jika Anda ingin mengatakan, berikan saya semua yang terlihat seperti ini, dan saya melihat gambar – mungkin saya memotong wajah dan mengatakan, oke, ambil semua orang dari database yang terlihat seperti itu, dari semua gambar saya,” jelaskan Liberty. “Atau jika itu audio, sesuatu yang terdengar seperti ini, atau jika itu teks, sesuatu yang relevan dari dokumen ini.” Jenis permintaan gabungan seperti itu semua dapat menjadi masalah pencarian kesamaan yang berbeda di seluruh ruang vektor embedding yang berbeda. Hal itu dapat sangat berguna untuk masa depan multi-modal yang akan datang bagi GenAI, seperti yang dilaporkan oleh ZDNET. Intinya, lagi-lagi, adalah mengurangi halusinasi. “Misalnya Anda sedang membangun aplikasi untuk dukungan teknis: LLM mungkin telah dilatih pada beberapa produk acak, tetapi bukan produk Anda, dan pasti tidak akan memiliki rilis baru yang akan datang, dokumentasi yang belum publik,” kata Liberty. “Akibatnya, ia akan membuat sesuatu yang asal. “Sebaliknya, dengan database vektor, permintaan yang berkaitan dengan produk baru akan dipasangkan dengan informasi khusus itu. Ada kemungkinan lain yang menjanjikan yang sedang dieksplorasi dalam upaya RAG secara keseluruhan. Para ilmuwan AI, menyadari keterbatasan model bahasa besar, telah mencoba meniru apa yang dapat dilakukan oleh database. B
