Dari drone yang mengirimkan persediaan medis hingga asisten digital yang melakukan tugas-tugas sehari-hari, sistem yang didukung AI semakin terintegrasi dalam kehidupan sehari-hari. Para pencipta inovasi ini menjanjikan manfaat yang transformatif. Bagi beberapa orang, aplikasi mainstream seperti ChatGPT dan Claude bisa terlihat seperti sihir. Tapi sistem-sistem ini tidaklah sihir, dan mereka tidak sempurna – mereka bisa dan sering gagal untuk bekerja sesuai yang diinginkan.
Sistem AI bisa mengalami kerusakan karena cacat desain teknis atau data pelatihan yang bias. Mereka juga rentan terhadap kerentanan dalam kode mereka, yang bisa dimanfaatkan oleh peretas jahat. Mengisolasi penyebab kegagalan AI sangat penting untuk memperbaiki sistem tersebut.
Tapi sistem AI biasanya tidak transparan, bahkan bagi penciptanya. Tantangannya adalah bagaimana menyelidiki sistem AI setelah mereka gagal atau menjadi korban serangan. Ada teknik-teknik untuk memeriksa sistem AI, tetapi mereka memerlukan akses ke data internal sistem AI. Akses ini tidak terjamin, terutama bagi penyelidik forensik yang dipanggil untuk menentukan penyebab kegagalan sistem AI yang propietary, membuat penyelidikan menjadi tidak mungkin.
Kami adalah ilmuwan komputer yang mempelajari forensik digital. Tim kami di Georgia Institute of Technology telah membangun sistem, AI Psychiatry, atau AIP, yang dapat merekonstruksi skenario di mana suatu AI gagal untuk menentukan apa yang salah. Sistem ini mengatasi tantangan forensik AI dengan memulihkan dan “menghidupkan kembali” model AI yang dicurigai sehingga dapat diuji secara sistematis.
Ketidakpastian AI
Bayangkan mobil otonom tiba-tiba keluar dari jalan tanpa alasan yang jelas dan kemudian mengalami kecelakaan. Log dan data sensor mungkin menunjukkan bahwa kamera yang rusak menyebabkan AI salah menafsirkan tanda jalan sebagai perintah untuk melakukan manuver. Setelah kegagalan misi kritis seperti kecelakaan mobil otonom, penyelidik perlu menentukan dengan tepat apa yang menyebabkan kesalahan tersebut.
Apakah kecelakaan dipicu oleh serangan jahat terhadap AI? Dalam kasus hipotetis ini, kecacatan kamera bisa menjadi hasil dari kerentanan keamanan atau bug dalam perangkat lunaknya yang dieksploitasi oleh peretas. Jika penyelidik menemukan kerentanan seperti itu, mereka harus menentukan apakah itu yang menyebabkan kecelakaan. Tapi membuat penentuan tersebut bukanlah hal yang mudah.
Meskipun ada metode forensik untuk memulihkan beberapa bukti dari kegagalan drone, mobil otonom, dan sistem-sistem cyber-fisik lainnya, tidak satupun yang dapat menangkap petunjuk yang diperlukan untuk menyelidiki AI sepenuhnya. AI canggih bahkan bisa memperbarui pengambilan keputusan mereka – dan konsekuensinya petunjuk-petunjuk tersebut – terus menerus, membuatnya tidak mungkin untuk menyelidiki model-model terbaru dengan metode yang ada.
Peneliti sedang bekerja untuk membuat sistem AI lebih transparan, tetapi kecuali dan sampai upaya-upaya tersebut mengubah bidang tersebut, akan ada kebutuhan akan alat-alat forensik untuk setidaknya memahami kegagalan AI.
Patologi untuk AI
AI Psychiatry menerapkan serangkaian algoritma forensik untuk mengisolasi data di balik pengambilan keputusan sistem AI. Potongan-potongan ini kemudian dirakit kembali menjadi model fungsional yang melakukan identik dengan model aslinya. Penyelidik dapat “menghidupkan kembali” AI dalam lingkungan yang terkendali dan mengujinya dengan input jahat untuk melihat apakah menunjukkan perilaku berbahaya atau tersembunyi.
AI Psychiatry mengambil gambaran memori, sebuah snapshot dari bit dan byte yang dimuat ketika AI beroperasi, sebagai input. Gambaran memori pada saat kecelakaan dalam skenario mobil otonom memegang petunjuk penting tentang keadaan internal dan proses pengambilan keputusan AI yang mengendalikan kendaraan. Dengan AI Psychiatry, penyelidik sekarang dapat mengambil model AI yang tepat dari memori, membedah bit dan byte-nya, dan memuat model ke dalam lingkungan yang aman untuk pengujian.
Tim kami menguji AI Psychiatry pada 30 model AI, 24 di antaranya dengan sengaja “backdoored” untuk menghasilkan hasil yang salah di bawah pemicu yang spesifik. Sistem ini berhasil memulihkan, menyelenggarakan kembali, dan menguji setiap model, termasuk model-model yang umum digunakan dalam skenario dunia nyata seperti pengenalan tanda jalan dalam mobil otonom.
Hingga saat ini, uji coba kami menunjukkan bahwa AI Psychiatry dapat secara efektif memecahkan misteri digital di balik kegagalan seperti kecelakaan mobil otonom yang sebelumnya akan meninggalkan lebih banyak pertanyaan daripada jawaban. Dan jika tidak menemukan kerentanan dalam sistem AI mobil, AI Psychiatry memungkinkan penyelidik untuk menyingkirkan AI dan mencari penyebab lain seperti kamera yang rusak.
Tidak hanya untuk mobil otonom
Algoritma utama AI Psychiatry bersifat generik: Fokusnya pada komponen-komponen universal yang harus dimiliki semua model AI untuk mengambil keputusan. Pendekatan kami ini mudah diperluas ke model-model AI apa pun yang menggunakan kerangka pengembangan AI populer. Siapa pun yang bekerja untuk menyelidiki kegagalan AI dapat menggunakan sistem kami untuk menilai suatu model tanpa pengetahuan sebelumnya tentang arsitektur yang tepat.
Baik AI itu bot yang memberikan rekomendasi produk atau sistem yang memandu armada drone otonom, AI Psychiatry dapat memulihkan dan menyelenggarakan kembali AI untuk analisis. AI Psychiatry sepenuhnya open source untuk siapa pun yang ingin menggunakannya.
AI Psychiatry juga dapat menjadi alat berharga untuk melakukan audit pada sistem AI sebelum masalah muncul. Dengan lembaga pemerintah mulai dari penegak hukum hingga layanan perlindungan anak yang mengintegrasikan sistem AI ke dalam alur kerja mereka, audit AI menjadi persyaratan pengawasan yang semakin umum di tingkat negara bagian. Dengan alat seperti AI Psychiatry di tangan, auditor dapat menerapkan metodologi forensik yang konsisten di berbagai platform dan implementasi AI.
Pada akhirnya, ini akan memberikan hasil yang bermakna baik bagi para pencipta sistem AI maupun semua orang yang terpengaruh oleh tugas-tugas yang mereka lakukan.
David Oygenblik, Mahasiswa S3 di Teknik Elektro dan Komputer, Georgia Institute of Technology dan Brendan Saltaformaggio, Profesor Asosiasi Keamanan Siber dan Privasi, dan Teknik Elektro dan Komputer, Georgia Institute of Technology
Artikel ini diambil kembali dari The Conversation di bawah lisensi Creative Commons. Baca artikel aslinya. ©The Conversation”