Kredit Foto: Yuichiro Chino/Moment via Getty Images
Ikuti ZDNET: Tambahkan kami sebagai sumber pilihan di Google.
—
Poin Penting ZDNET:
- Fungsi Auditor AI serupa dengan auditor keuangan, tetapi fokusnya pada keluaran AI.
- Saat ini, hanya jaminan kualitas (QA) yang memverifikasi akurasi dan kelayakan AI.
- Auditor AI membutuhkan keahlian teknis AI serta pengetahuan bisnis yang mendalam.
—
Kebangkitan pesat kecerdasan buatan (AI) sedang melahirkan peran baru bagi profesional di bidang teknologi dan bisnis: Auditor AI. Peran ini memiliki kemiripan yang mencolok dengan auditor keuangan, dengan pengecualian utama: auditor AI memantau dan melaporkan perilaku transaksi AI, bukan transaksi keuangan.
Kebutuhan akan peran ini sangat tepat waktu. AI kini ada di mana-mana, namun sering kali dipenuhi oleh masalah seperti kualitas data yang buruk, model drift, bias, hallucination, slop, dan isu-isu lainnya. Profesional perlu memahami peran mana yang memiliki masa depan di dunia AI — dan bahwa mengelola AI lebih dari sekadar peran teknis semata.
Auditor AI tidak hanya akan menjadi pengawas teknis; mereka perlu memastikan akurasi dan kelayakan AI sesuai dengan hukum, etika, keamanan, serta ilmu perilaku. Patut dicatat, proses yang diawasi oleh auditor AI pada dasarnya sama dengan tugas auditor keuangan, yang melibatkan sampling, pengujian, dan sertifikasi.
Memastikan AI Bertanggung Jawab dan Terpercaya
Dalam evaluasi berkelanjutan terhadap lowongan pekerjaan, ZipRecruiter memperkirakan gaji tahunan auditor AI berkisar antara $50.000 hingga $81.000, dengan penghasilan tertinggi mencapai $105.500 di seluruh AS.
Menurut Zohar Bronfman, Co-founder dan CEO Pecan.ai yang telah melacak kemunculan posisi yang relatif baru ini, saat ini auditor AI masih dalam bentuk yang sangat dasar. "Saat ini belum ada peran terstruktur yang didedikasikan untuk mengaudit perilaku etis atau yang dapat diterima secara sosial."
Peran yang paling mendekati auditor AI saat ini terlihat dalam tim yang bertugas meninjau perilaku model AI, namun pekerjaan mereka lebih mirip dengan jaminan kualitas (quality assurance), ujar Bronfman. Tinjauan tersebut mencakup "keluaran (outputs), penyimpangan (outliers), dan kasus-kasus tepi (edge-cases), serta mengaudit proses pelatihan untuk properti data masukan, akurasi, dan prediktabilitas."
Auditor AI akan memberikan "gigi" yang lebih kuat dalam memastikan AI bertanggung jawab dan terpercaya. Peran seorang auditor AI kemungkinan besar akan merupakan perpaduan dari berbagai fungsi:
- Pengawasan Teknis (Engineering Oversight): Ini mencakup "memastikan bahwa model dikembangkan, dilatih, dan dipelihara sesuai dengan standar teknik dan teknologi yang dapat diterima," kata Bronfman.
- Pemantauan Perilaku (Behavioral Monitoring): Auditor AI akan memverifikasi bahwa perilaku model AI "dapat diprediksi dan diamati, serta semua tindakan model — seperti integrasi, API, MCP, RAG — dapat dilacak dan dicatat (logged)." Auditor juga akan memastikan model "hanya bertindak dalam batasan (guardrails) yang telah disetujui sebelumnya dan tidak mencoba mengintegrasikan diri ke sumber data yang tidak memiliki otorisasi, kredensial, atau kebutuhan untuk mengaksesnya."
- Penegakan Batasan (Guardrail Enforcement): Di sini, auditor bertugas "memastikan bahwa model atau agent tidak mencoba mengutak-atik kode sumbernya sendiri," jelas Bronfman. Ini juga termasuk "menguji apakah model akan menjadi rogue di bawah kondisi prompt tertentu." Auditor juga akan melakukan penyelidikan insiden dan meminta pertanggungjawaban dari pemilik model.
Bronfman memberikan beberapa contoh hipotetis yang akan dicari dan dicegah secara aktif oleh seorang auditor AI:
- Penggunaan Alat atau Akses Sistem Tanpa Izin: Ini mungkin berupa agent AI yang "mencoba mengubah kredensial login, mengakses data sensitif tanpa otorisasi yang tepat, atau menyusup ke perangkat lunak infrastruktur kritis di luar cakupan yang disetujui."
- Bias Tersembunyi (Hidden Bias): Ini terutama menjadi perhatian dalam pengambilan keputusan finansial, seperti di bidang penilaian kredit, pinjaman, perekrutan, atau asuransi.
- Pengambilan Keputusan yang Tidak Transparan (Opaque Decision-Making): Hal ini bisa bermasalah dalam konteks layanan kesehatan. "Misalnya, agent nakal yang mengoptimalkan biaya atau efisiensi mungkin akan menurunkan prioritas alokasi sumber daya untuk pasien yang sakit kritis," ujar Bronfman. "Setiap keputusan yang melibatkan pertimbangan moral harus tetap berada di bawah otoritas manusia."
Firma Audit AI Pihak Ketiga
Pekerjaan audit AI tidak hanya akan ditemukan di dalam perusahaan. Sama seperti organisasi yang cenderung bergantung pada auditor keuangan eksternal, akan banyak peran dalam firma audit AI pihak ketiga. "Auditor independen pihak ketiga memberikan pengawasan terstruktur dan mencegah konflik kepentingan," kata Bronfman. Standar dan kode etik audit AI bahkan mungkin pada akhirnya didukung "oleh badan seperti PBB atau koalisi negara-negara besar, di mana penerapannya akan memerlukan audit perilaku berkelanjutan dan transparansi yang diwajibkan."
Untuk memasuki jenis peran ini, calon auditor AI "perlu memahami AI dan cara kerja algoritmanya secara mendalam guna mengidentifikasi di mana letak jebakannya dan menguji bagaimana ia bisa gagal," jelas Bronfman. "Tim audit AI harus bersifat multidisiplin dan mencakup pakar di bidang hukum, etika, keamanan, ilmu perilaku, dan teori politik, yang secara terus-menerus melakukan red-teaming dan melakukan sampling perilaku di berbagai domain."