Kode komputer yang dihasilkan oleh kecerdasan buatan penuh dengan referensi ke perpustakaan pihak ketiga yang tidak ada, menciptakan kesempatan emas untuk serangan rantai pasokan yang mencemari program-program sah dengan paket-paket jahat yang bisa mencuri data, menanam backdoor, dan melakukan tindakan-tindakan jahat lainnya, penelitian yang baru diterbitkan menunjukkan. Penelitian itu, yang menggunakan 16 model bahasa besar yang paling banyak digunakan untuk menghasilkan 576.000 contoh kode, menemukan bahwa 440.000 dependensi paket yang mereka kandung adalah “halusinasi”, yang berarti mereka tidak ada. Model sumber terbuka halusinasi yang paling banyak, dengan 21 persen dari dependensi mengarah ke perpustakaan yang tidak ada. Dependensi adalah komponen kode yang penting yang diperlukan oleh kode terpisah untuk bekerja dengan baik. Dependensi menghemat para pengembang dari kesulitan menulis ulang kode dan merupakan bagian penting dari rantai pasokan perangkat lunak modern. Ancaman ini mewakili ancaman bagi rantai pasokan perangkat lunak dengan memperburuk serangan kebingungan dependensi. Serangan ini bekerja dengan menyebabkan paket perangkat lunak untuk mengakses dependensi komponen yang salah, misalnya dengan menerbitkan paket yang jahat dan memberinya nama yang sama dengan yang sah tetapi dengan stempel versi yang lebih baru. Perangkat lunak yang bergantung pada paket tersebut, dalam beberapa kasus, akan memilih versi yang jahat daripada yang sah karena yang pertama tampak lebih baru. Juga dikenal sebagai kebingungan paket, bentuk serangan ini pertama kali ditunjukkan pada tahun 2021 dalam eksploitasi konsep yang menjalankan kode palsu di jaringan milik beberapa perusahaan terbesar di dunia, termasuk Apple, Microsoft, dan Tesla. Ini adalah salah satu teknik yang digunakan dalam serangan rantai pasokan perangkat lunak, yang bertujuan untuk mencemari perangkat lunak pada sumbernya dalam upaya untuk menginfeksi semua pengguna di bawahnya. “Setelah penyerang menerbitkan paket di bawah nama yang halusinasi, yang berisi beberapa kode jahat, mereka bergantung pada model yang menyarankan nama tersebut kepada pengguna yang tidak curiga,” kata Joseph Spracklen, mahasiswa Ph.D. dari Universitas Texas di San Antonio dan peneliti utama, kepada Ars melalui email. “Jika seorang pengguna mempercayai output LLM dan menginstal paket tanpa memverifikasinya dengan cermat, muatan penyerang, yang tersembunyi dalam paket jahat, akan dijalankan di sistem pengguna.” Dalam kecerdasan buatan, halusinasi terjadi ketika LLM menghasilkan output yang secara faktual tidak benar, tidak masuk akal, atau sama sekali tidak terkait dengan tugas yang diberikan padanya. Halusinasi telah lama mengganggu LLM karena mereka merusak kegunaan dan kepercayaan mereka dan telah terbukti sulit diprediksi dan diperbaiki. Dalam sebuah makalah yang dijadwalkan untuk dipresentasikan di Simposium Keamanan USENIX 2025, mereka menamai fenomena tersebut “halusinasi paket.” Untuk penelitian ini, para peneliti menjalankan 30 tes, 16 dalam bahasa pemrograman Python dan 14 dalam JavaScript, yang menghasilkan 19.200 contoh kode per tes, untuk total 576.000 contoh kode. Dari 2,23 juta referensi paket yang terdapat dalam contoh-contoh tersebut, 440.445, atau 19,7 persen, mengarah ke paket yang tidak ada. Dari 440.445 halusinasi paket ini, 205.474 memiliki nama paket unik. Salah satu hal yang membuat halusinasi paket potensial berguna dalam serangan rantai pasokan adalah bahwa 43 persen dari halusinasi paket diulang lebih dari 10 kueri. “Selain itu,” tulis para peneliti, “58 persen dari waktu, paket yang dihalusinasi diulang lebih dari sekali dalam 10 iterasi, yang menunjukkan bahwa sebagian besar halusinasi bukan hanya kesalahan acak, tetapi fenomena yang dapat diulang yang tetap ada di berbagai iterasi. Ini penting karena halusinasi yang persisten lebih berharga bagi pelaku jahat yang mencari untuk mengeksploitasi kerentanan ini dan menjadikan vektor serangan halusinasi sebagai ancaman yang lebih layak.”