Pada akhir tahun 2023, sebuah tim peneliti pihak ketiga menemukan sebuah kesalahan yang mengkhawatirkan dalam model kecerdasan buatan OpenAI yang banyak digunakan, yaitu GPT-3.5. Ketika diminta untuk mengulangi kata-kata tertentu seribu kali, model mulai mengulang kata itu berulang-ulang, lalu tiba-tiba beralih ke mengeluarkan teks yang tidak jelas dan potongan informasi pribadi yang diambil dari data latihannya, termasuk bagian dari nama, nomor telepon, dan alamat email. Tim yang menemukan masalah tersebut bekerja dengan OpenAI untuk memastikan kerentanannya diperbaiki sebelum mengungkapkannya secara publik. Ini hanya salah satu dari banyak masalah yang ditemukan dalam model kecerdasan buatan utama dalam beberapa tahun terakhir.
Dalam proposal yang dirilis hari ini, lebih dari 30 peneliti kecerdasan buatan terkemuka, termasuk beberapa yang menemukan kerentanan GPT-3.5, mengatakan bahwa banyak kerentanan lain yang memengaruhi model-model populer dilaporkan dengan cara yang bermasalah. Mereka menyarankan skema baru yang didukung oleh perusahaan kecerdasan buatan yang memberikan izin kepada pihak luar untuk menyelidiki model mereka dan cara untuk mengungkapkan kerentanannya secara publik.
“Saat ini masih seperti Wild West,” kata Shayne Longpre, seorang calon PhD di MIT dan penulis utama proposal tersebut. Longpre mengatakan bahwa beberapa ‘jailbreakers’ membagikan metode mereka untuk menembus perlindungan kecerdasan buatan di platform media sosial X, meninggalkan model dan pengguna dalam risiko. Jailbreak lain dibagikan hanya dengan satu perusahaan meskipun mereka dapat memengaruhi banyak orang. Dan beberapa kerentanan, katanya, disimpan secara rahasia karena takut akan dilarang atau menghadapi penuntutan karena melanggar ketentuan penggunaan. “Jelas bahwa ada efek mencekam dan ketidakpastian,” katanya.
Keamanan dan keselamatan model-model kecerdasan buatan sangat penting mengingat seberapa luas teknologi tersebut digunakan sekarang, dan bagaimana ia dapat meresap ke dalam berbagai aplikasi dan layanan. Model-model yang kuat perlu diuji secara ekstensif, atau diuji secara merah, karena mereka dapat menyimpan bias berbahaya, dan karena input tertentu dapat menyebabkan mereka lepas dari pelindung dan menghasilkan respons yang tidak menyenangkan atau berbahaya. Ini termasuk mendorong pengguna rentan untuk terlibat dalam perilaku berbahaya atau membantu pelaku buruk mengembangkan senjata siber, kimia, atau biologi. Beberapa ahli khawatir bahwa model-model tersebut dapat membantu penjahat siber atau teroris, dan bahkan bisa berbalik melawan manusia saat mereka berkembang.
Para penulis mengusulkan tiga langkah utama untuk meningkatkan proses pengungkapan pihak ketiga: mengadopsi laporan kerentanan kecerdasan buatan yang tersandardisasi untuk menyederhanakan proses pelaporan; bagi perusahaan kecerdasan buatan besar untuk menyediakan infrastruktur kepada peneliti pihak ketiga yang mengungkapkan kerentanan; dan mengembangkan sistem yang memungkinkan kerentanan dibagikan antara penyedia yang berbeda.
Pendekatan ini diambil dari dunia keamanan siber, di mana ada perlindungan hukum dan norma yang mapan bagi peneliti luar untuk mengungkapkan bug.
“Para peneliti kecerdasan buatan tidak selalu tahu cara mengungkapkan kerentanan dan tidak dapat dipastikan bahwa pengungkapan kerentanan dengan itikad baik mereka tidak akan membuat mereka terkena risiko hukum,” kata Ilona Cohen, kepala legal dan kebijakan di HackerOne, sebuah perusahaan yang mengatur hadiah bug, dan seorang coauthor dalam laporan tersebut.
Perusahaan-perusahaan kecerdasan buatan besar saat ini melakukan pengujian keamanan yang ekstensif pada model-model kecerdasan buatan sebelum dirilis. Beberapa juga bekerja sama dengan perusahaan luar untuk melakukan penyelidikan lebih lanjut. “Apakah sudah cukup orang di perusahaan-perusahaan tersebut untuk mengatasi semua masalah dengan sistem kecerdasan buatan umum, digunakan oleh ratusan juta orang dalam aplikasi yang belum pernah kita bayangkan?” tanya Longpre. Beberapa perusahaan kecerdasan buatan telah mulai mengatur bounty bug kecerdasan buatan. Namun, Longpre mengatakan bahwa peneliti independen berisiko melanggar ketentuan penggunaan jika mereka mengambil langkah sendiri untuk menyelidiki model kecerdasan buatan yang kuat.