Miles Brundage, seorang mantan peneliti kebijakan di OpenAI yang cukup terkenal, sedang meluncurkan sebuah institut yang didedikasikan untuk satu ide sederhana: perusahaan AI tidak seharusnya boleh menilai pekerjaan rumah mereka sendiri.
Hari ini Brundage secara resmi mengumumkan AI Verification and Evaluation Research Institute (AVERI), sebuah lembaga nirlaba baru yang bertujuan mendorong ide bahwa model AI terdepan harus diaudit oleh pihak eksternal. AVERI juga bekerja untuk menetapkan standar audit AI.
Peluncurannya berbarengan dengan publikasi sebuah makalah penelitian, yang ditulis bersama oleh Brundage dan lebih dari 30 peneliti keamanan AI serta ahli tata kelola. Makalah itu merinci kerangka kerja tentang bagaimana audit independen untuk perusahaan-perusahaan yang membangun sistem AI paling kuat di dunia bisa dilakukan.
Brundage menghabiskan tujuh tahun di OpenAI, sebagai peneliti kebijakan dan penasihat tentang bagaimana perusahaan itu harus mempersiapkan kedatangan kecerdasan umum buatan yang mirip manusia. Dia meninggalkan perusahaan itu pada Oktober 2024.
“Salah satu hal yang saya pelajari saat bekerja di OpenAI adalah bahwa perusahaan-perusahaan sedang menentukan norma-norma untuk hal semacam ini sendiri-sendiri,” kata Brundage kepada Fortune. “Tidak ada yang memaksa mereka untuk bekerja dengan ahli pihak ketiga untuk memastikan segala sesuatunya aman dan terjamin. Mereka seperti menulis aturan mereka sendiri.”
Itu menimbulkan risiko. Meskipun lab AI terkemuka melakukan pengujian keamanan dan menerbitkan laporan teknis tentang hasil banyak evaluasi ini (beberapa di antaranya mereka lakukan dengan bantuan organisasi ‘red team’ eksternal), saat ini konsumen, bisnis, dan pemerintah harus percaya saja pada apa yang dikatakan lab AI tentang tes-tes ini. Tidak ada yang memaksa mereka untuk melakukan evaluasi ini atau melaporkannya menurut standar tertentu.
Brundage mengatakan bahwa di industri lain, audit digunakan untuk memberikan keyakinan kepada publik—termasuk konsumen, mitra bisnis, dan sampai batas tertentu regulator—bahwa produk itu aman dan telah diuji dengan cara yang ketat.
“Kalau kamu pergi dan membeli penyedot debu, kamu tahu, akan ada komponen di dalamnya, seperti baterai, yang telah diuji oleh laboratorium independen menurut standar keamanan ketat untuk memastikan itu tidak akan terbakar,” katanya.
Institut baru akan dorong kebijakan dan standar
Brundage mengatakan bahwa AVERI tertarik pada kebijakan yang akan mendorong lab AI untuk beralih ke sistem audit eksternal yang ketat, serta meneliti seperti apa seharusnya standar untuk audit tersebut. Tetapi lembaga ini tidak tertarik untuk melakukan audit sendiri.
“Kami adalah lembaga pemikir. Kami mencoba memahami dan membentuk transisi ini,” ujarnya. “Kami tidak berusaha mendapatkan semua perusahaan Fortune 500 sebagai pelanggan.”
Dia mengatakan firma akuntansi publik, audit, asuransi, dan pengujian yang sudah ada bisa beralih ke bisnis audit keamanan AI, atau startup akan didirikan untuk mengambil peran ini.
AVERI menyatakan telah mengumpulkan $7,5 juta menuju target $13 juta untuk mendanai 14 staf dan operasional dua tahun. Penyandang dana mereka sejauh ini termasuk Halcyon Futures, Fathom, Coefficient Giving, mantan presiden Y Combinator Geoff Ralston, Craig Falls, Good Forever Foundation, Sympatico Ventures, dan AI Underwriting Company.
Organisasi itu juga mengatakan telah menerima donasi dari karyawan non-eksekutif, baik yang masih bekerja maupun mantan, di perusahaan-perusahaan AI terdepan. “Mereka adalah orang-orang yang tahu di mana ‘mayat’ dikubur” dan “ingin melihat lebih banyak akuntabilitas,” kata Brundage.
Perusahaan asuransi atau investor bisa paksa audit keamanan AI
Brundage mengatakan bisa ada beberapa mekanisme yang akan mendorong perusahaan AI untuk mulai menyewa auditor independen. Salah satunya adalah bisnis besar yang membeli model AI mungkin menuntut audit untuk mendapatkan keyakinan bahwa model AI yang mereka beli akan berfungsi seperti yang dijanjikan dan tidak menimbulkan risiko tersembunyi.
Perusahaan asuransi juga mungkin mendorong pembentukan audit AI. Misalnya, perusahaan asuransi yang menawarkan asuransi keberlanjutan bisnis kepada perusahaan besar yang menggunakan model AI untuk proses bisnis penting bisa mensyaratkan audit sebagai kondisi penjaminan. Industri asuransi juga mungkin memerlukan audit untuk menulis polis untuk perusahaan AI terkemuka, seperti OpenAI, Anthropic, dan Google.
“Asuransi pasti bergerak cepat,” kata Brundage. “Kami banyak berdialog dengan perusahaan asuransi.” Dia mencatat bahwa satu perusahaan asuransi AI khusus, AI Underwriting Company, telah memberikan donasi ke AVERI karena “mereka melihat nilai audit dalam memeriksa kepatuhan terhadap standar yang mereka tulis.”
Investor juga mungkin menuntut audit keamanan AI untuk memastikan mereka tidak mengambil risiko yang tidak diketahui, kata Brundage. Mengingat cek senilai jutaan dan miliaran dolar yang kini ditulis firma investasi untuk mendanai perusahaan AI, masuk akal bagi investor ini untuk menuntut audit independen terhadap keamanan produk yang dibangun startup-startup yang tumbuh cepat ini. Jika salah satu lab terkemuka go public—seperti OpenAI dan Anthropic yang dilaporkan bersiap melakukannya dalam satu atau dua tahun ke depan—kegagalan menggunakan auditor untuk menilai risiko model AI bisa membuka perusahaan-perusahaan ini pada gugatan pemegang saham atau penuntutan SEC jika nanti terjadi sesuatu yang salah yang menyebabkan penurunan signifikan harga saham mereka.
Brundage juga mengatakan bahwa regulasi atau perjanjian internasional bisa memaksa lab AI untuk mempekerjakan auditor independen. AS saat ini tidak memiliki regulasi federal untuk AI dan tidak jelas apakah akan dibuat. Presiden Donald Trump telah menandatangani perintah eksekutif yang dimaksudkan untuk mengambil tindakan terhadap negara bagian AS yang membuat regulasi AI mereka sendiri. Pemerintahan mengatakan ini karena mereka percaya satu standar federal akan lebih mudah dilalui bisnis daripada banyak hukum negara bagian. Tetapi, sambil bergerak menghukum negara bagian yang memberlakukan regulasi AI, pemerintahan belum mengusulkan standar nasionalnya sendiri.
Namun, di wilayah lain, landasan untuk audit mungkin sudah mulai terbentuk. Undang-Undang AI UE, yang baru saja berlaku, tidak secara eksplisit menyerukan audit terhadap prosedur evaluasi perusahaan AI. Tetapi ‘Kode Praktik untuk AI Tujuan Umum’ mereka, yang semacam cetak biru untuk cara lab AI terdepan dapat mematuhi Undang-Undang, menyatakan bahwa lab yang membangun model yang dapat menimbulkan risiko ‘sistemik’ perlu memberikan akses gratis kepada penilai eksternal untuk menguji modelnya. Teks Undang-Undang itu sendiri juga mengatakan bahwa ketika organisasi menyebarkan AI dalam kasus penggunaan ‘berisiko tinggi’, seperti penjaminan pinjaman, penentuan kelayakan untuk tunjangan sosial, atau penentuan perawatan medis, sistem AI harus menjalani ‘penilaian kesesuaian’ eksternal sebelum dilepas ke pasar. Beberapa orang menafsirkan bagian-bagian dari Undang-Undang dan Kode ini sebagai menyiratkan kebutuhan untuk apa yang pada dasarnya adalah auditor independen.
Menetapkan ‘tingkat jaminan’, mencari cukup auditor berkualifikasi
Makalah penelitian yang diterbitkan bersama peluncuran AVERI menguraikan visi komprehensif tentang seperti apa seharusnya audit AI terdepan. Ini mengusulkan kerangka kerja ‘Tingkat Jaminan AI’ mulai dari Level 1—yang melibatkan beberapa pengujian pihak ketiga tetapi akses terbatas dan mirip dengan jenis evaluasi eksternal yang saat ini digunakan lab AI—hingga Level 4, yang akan memberikan jaminan ‘kelas perjanjian’ yang cukup untuk perjanjian internasional tentang keamanan AI.
Membangun kader auditor AI yang berkualifikasi memiliki kesulitannya sendiri. Audit AI memerlukan campuran keahlian teknis dan pengetahuan tata kelola yang sedikit dimiliki—dan mereka yang memilikinya sering direkrut dengan tawaran menguntungkan dari perusahaan-perusahaan yang justru akan diaudit.
Brundage mengakui tantangannya tetapi mengatakan itu bisa diatasi. Dia berbicara tentang menggabungkan orang-orang dengan latar belakang berbeda untuk membangun ‘tim impian’ yang secara gabungan memiliki keterampilan yang tepat. “Kamu mungkin punya beberapa orang dari firma audit yang sudah ada, ditambah beberapa orang dari firma pengujian penetrasi dari keamanan siber, ditambah beberapa orang dari salah satu lembaga nirlaba keamanan AI, plus mungkin seorang akademisi,” katanya.
Di industri lain, dari tenaga nuklir hingga keamanan pangan, sering kali bencana, atau setidaknya nyaris celaka, yang memberikan dorongan untuk standar dan evaluasi independen. Brundage mengatakan harapannya adalah bahwa dengan AI, infrastruktur dan norma audit dapat dibangun sebelum krisis terjadi.
“Tujuannya, dari perspektif saya, adalah mencapai tingkat pengawasan yang sebanding dengan dampak dan risiko sebenarnya dari teknologi tersebut, sehalus mungkin, secepat mungkin, tanpa melampaui batas,” ucapnya.