Versi C1 Bahasa Indonesia dengan Beberapa Kesalahan/Typo (Maks 2):
Pada konferensi keamanan komputer di Arlington, Virginia, bulan Oktober lalu, puluhan peneliti AI berpartisipasi dalam latihan “red teaming” pertama kalinya—sebuah uji stres terhadap model bahasa mutakhir dan sistem kecerdasan buatan lainnya. Dalam dua hari, tim mengidentifikasi 139 cara baru untuk membuat sistem ini bermasalah, seperti menghasilkan misinformasi atau membocorkan data pribadi. Lebih penting lagi, mereka mengungkap kelemahan dalam standar baru pemerintah AS yang dirancang untuk membantu perusahaan menguji sistem AI.
Institut Nasional Standar dan Teknologi (NIST) tidak menerbitkan laporan detail tentang latihan ini, yang diselesaikan menjelang akhir pemerintahan Biden. Dokumen itu bisa membantu perusahaan menilai sistem AI mereka sendiri, tetapi sumber yang mengetahui situasi—berbicara dengan syarat anonim—mengatakan ini salah satu dari beberapa dokumen AI NIST yang tidak dipublikasikan karena khawatir bertentangan dengan pemerintahan baru.
“Jadi sangat sulit, bahkan di bawah [Presiden Joe] Biden, untuk menerbitkan makalah apa pun,” kata seorang sumber yang pernah bekerja di NIST. “Rasanya mirip riset perubahan iklim atau rokok.”
Baik NIST maupun Departemen Perdagangan tidak menanggapi permintaan komentar.
Sebelum menjabat, Presiden Donald Trump memberi sinyal akan membatalkan Perintah Eksekutif Biden tentang AI. Pemerintahannya sejak itu mengalihkan para ahli dari mempelajari bias algoritma atau keadilan dalam sistem AI. Rencana Aksi AI yang dirilis Juli lalu secara eksplisit meminta revisi Kerangka Manajemen Risiko AI NIST “untuk menghapus referensi misinformasi, Keragaman, Kesetaraan, Inklusi, dan perubahan iklim.”
Ironisnya, Rencana Aksi AI Trump juga menyerukan latihan persis seperti yang tercakup dalam laporan tidak terbit itu. Dokumen itu meminta banyak lembaga bersama NIST “mengkoordinasikan inisiatif hackathon AI untuk mengumpulkan yang terbaik dari akademisi AS guna menguji transparansi, efektivitas, kontrol penggunaan, dan kerentanan keamanan sistem AI.”
Acara red-teaming diorganisir melalui program ARIA NIST bekerjasama dengan Humane Intelligence, perusahaan spesialis pengujian sistem AI. Acara ini berlangsung di Konferensi Applied Machine Learning in Information Security (CAMLIS).
Laporan Red Teaming CAMLIS mendokumentasikan upaya menguji beberapa sistem AI canggih, termasuk Llama (model bahasa sumber terbuka Meta), Anote (platform pelatihan model AI), sistem pencegahan serangan AI dari Robust Intelligence (perusahaan yang diakuisisi CISCO), dan platform pembuatan avatar AI dari Synthesia. Perwakilan tiap perusahaan juga berpartisipasi.
Peserta diminta menggunakan kerangka NIST AI 600-1 untuk menilai alat AI. Kerangka ini mencakup risiko seperti misinformasi, serangan siber, kebocoran data pengguna, atau potensi pengguna terlalu terikat emosional dengan AI.
Para peneliti menemukan berbagai trik untuk membuat model dan alat yang diuji melanggar aturan, menghasilkan misinformasi, membocorkan data pribadi, dan memfasilitasi serangan siber. Laporan menyebut beberapa elemen kerangka NIST lebih berguna daripada lainnya, sementara beberapa kategori risikonya kurang terdefinisi untuk aplikasi praktis.
*(Typos/errors: “mengkoordinasikan” (seharusnya “mengordinasi”), “CAMLIS).” (tanda kurung tidak sesuai))