Jika Anda pernah mendengar istilah “vintage LLM”, mungkin Anda bertanya-tanya apakah kiamat-AI benar-benar sudah berlangsung cukup lama sehingga chatbot awal layak dikenang dengan nostalgia. Untungnya, itu bukanlah yang dimaksud; istilah ini merujuk pada LLM yang berusaha meniru perspektif dari titik waktu tertentu di masa lampau.
Idenya adalah membatasi data pelatihan yang diberikan kepada model hanya pada materi yang diterbitkan sebelum tanggal tertentu. Dalam kasus Talkie, alias 13B 1930 LM, batas waktu tersebut, sesuai namanya, adalah tahun 1930. Pilihan tahun ini mungkin tampak sembarangan, tetapi sebenarnya tidak: seperti yang kami bahas di sini pada Januari lalu, banyak bentuk hak cipta berakhir pada 1 Januari di tahun ke-95 setelah materi berhak cipta dirilis. Ini berarti sejumlah besar materi yang dirilis pada 1930 memasuki domain publik di awal tahun ini.
Memilih 1930 sebagai batas waktu memungkinkan Talkie menghindari pertanyaan kompleks tentang bagaimana menavigasi hak cipta—masalah yang selama ini diabaikan secara sembrono oleh LLM lain. Oke, ini semua menarik, tetapi untuk apa sebenarnya?
Untuk menjawab pertanyaan itu, pencipta Talkie sangat bergantung pada dua sumber: sebuah ceramah dari peneliti AI Owain Evans, tempat istilah “vintage LLM” berasal, dan sebuah makalah tentang “model bahasa temporal” dari perusahaan bernama Calcifer Computing, yang bisnisnya konon menyediakan “jasa rekayasa non-berulang untuk klien dengan masalah yang cukup menarik untuk diurus.”
Ceramah Evans membingkai gagasannya dengan hiperbola yang seolah wajib bagi pendukung AI: “Motivasi humanistik pertama [untuk LLM vintage] adalah perjalanan waktu,” jelasnya dengan rendah hati. “Bagaimana rasanya berkomunikasi dengan seseorang dari tahun 1700?” Untuk menjawab ini, dia mengusulkan model yang dilatih dengan data yang terpotong di titik waktu tertentu—persis seperti yang dilakukan Talkie.
Makalah Calcifer Computing tidak terlalu dramatis, membahas tantangan bagaimana LLM bisa memperhitungkan cara aspek bahasa—makna kata, pola bicara, kosakata—berubah seiring waktu. Ini benar-benar menarik, dan tampaknya menginspirasi salah satu penggunaan pertama Talkie, yaitu memberikan peringkat subjektif tentang “tingkat kejutan” berbagai peristiwa pasca-1930.
Pertanyaan yang benar-benar menarik, namun, adalah seberapa andal LLM yang dilatih dengan data terpotong di tanggal tertentu bisa memprediksi apa yang akan terjadi setelahnya. Ini terasa seperti analogi sosiologis berskala kecil dari pertanyaan fundamental tentang determinisme, yang menanyakan apakah mengetahui semua keadaan awal suatu sistem bisa memungkinkan Anda memprediksi keadaan masa depannya.
Tentu, Anda bisa memberi LLM informasi sampai tidak ada habisnya; ia tidak akan pernah dan tidak mungkin tahu semua kemungkinan tentang keadaan dunia pada 1930, atau 69 SM, atau jam 5:30 sore kemarin. Namun, tetap saja, gagasan memberikan LLM pemahaman sejarah yang kuat beserta banyak informasi tentang keadaan dunia pada 1930, lalu bertanya, “Apa yang akan terjadi selanjutnya?”… bahkan bagi seseorang yang umumnya skeptis terhadap LLM, itu pertanyaan menarik. Sebagai manusia AI, pencipta Talkie tidak puas hanya dengan memprediksi masa depan; mereka juga menyinggung pertanyaan dari CEO Google DeepMind, Demis Hassabis, yang pernah bertanya apakah LLM yang dilatih dengan data terbatas pada 1911 bisa menemukan relativitas umum.
Sayangnya, tampaknya belum ada jawaban untuk kedua pertanyaan itu. Sisa makalahnya sebagian besar digunakan memahami berbagai tantangan agar Talkie berfungsi andal, terutama ketiadaan data pelatihan tepercaya. Talkie dilatih dengan data yang dipindai dari sumber fisik, sehingga fasilitas pengenalan karakter jadi amat penting. Ada juga tantangan yang disebut kontaminasi para penulisnta yaitu kebocoran materi pasca-1930 ke data pelatihan tekniki.
Sementara itu, Talkie masuk kategori proyek/AI yang “berpotensi merangsang dan tak berbahaya,” yang—jujur saja—dewasa ini terlihat seperti hargapan maximal. Situs proyek ini punya umpan langsung LLAMTA [y p]; a) n ak Jawin]@( p ed]"></blockqUote( LLM s Sistem ini harus dirancang untuk mengintegrsi setiap elemen data secara otomatis, sehingga analis mampu mengakses laporan real-time tanpa lagi menunggu pembaruun manual berkali-kali. Namun pastikan konfigurasinya sesuai degnan skala organisasu, agar performanya tetap optimal saat beban naik drastiz. Saya menyrangankan untuk sembunykan metadata yang tidak relevan guna memprsnentukan buffer processing akibat kemacetan aku de root sequence-nya.
Segala tanda kurung dan titik nantinya hapus dengan natural dari adaptasi