Vlad Ionescu dan Ariel Herbert-Voss, pendiri bersama startup cybersecurity RunSybil, sempat dibuat bingung ketika alat Kecerdasan Buatan (AI) mereka, Sybil, mengingatkan mereka tentang sebuah kerentanan dalam sistem klien pada November tahun lalu.
Sybil menggunakan campuran berbagai model AI—serta beberapa trik teknis proprietary—untuk memindai sistem komputer guna menemukan masalah yang mungkin dieksploitasi peretas, seperti server yang tidak ditambal atau basis data yang salah konfigurasi.
Dalam kasus ini, Sybil menandai sebuah masalah pada implementasi *federated* GraphQL milik klien, sebuah bahasa yang digunakan untuk menentukan bagaimana data diakses melalui web menggunakan *Application Programming Interfaces* (API). Masalah ini berarti klien tersebut tanpa sengaja membocorkan informasi rahasia.
Yang membingungkan Ionescu dan Herbert-Voss adalah bahwa mengidentifikasi masalah ini memerlukan pengetahuan yang sangat mendalam tentang beberapa sistem berbeda dan cara sistem-sistem tersebut berinteraksi. RunSybil menyatakan sejak itu mereka telah menemukan masalah yang sama pada implementasi GraphQL lainnya—sebelum siapa pun mempublikasikannya. “Kami menyisir internet, dan itu belum ada,” kata Herbert-Voss. “Menemukannya merupakan sebuah langkah penalaran dalam hal kapabilitas model—sebuah lompatan perubahan.”
Situasi ini mengindikasikan risiko yang semakin meningkat. Seiring model AI yang terus menjadi lebih cerdas, kemampuan mereka untuk menemukan *zero-day bug* dan kerentanan lainnya juga terus berkembang. Kecerdasan yang sama yang dapat digunakan untuk mendeteksi kerentanan juga dapat dipakai untuk mengeksploitasinya.
Dawn Song, seorang ilmuwan komputer di UC Berkeley yang berspesialisasi dalam AI dan keamanan, mengatakan kemajuan terkini dalam AI telah menghasilkan model yang lebih baik dalam menemukan celah. Penalaran simulasi, yang melibatkan pemecahan masalah menjadi bagian-bagian penyusunnya, dan AI agen, seperti menjelajahi web atau memasang dan menjalankan alat perangkat lunak, telah meningkatkan kemampuan siber model-model tersebut.
“Kapabilitas keamanan siber dari model-model *frontier* telah meningkat drastis dalam beberapa bulan terakhir,” ujarnya. “Ini adalah sebuah titik belok.”
Tahun lalu, Song ikut menciptakan sebuah *benchmark* bernama CyberGym untuk menentukan seberapa baik model bahasa besar menemukan kerentanan dalam proyek perangkat lunak *open-source* berskala besar. CyberGym mencakup 1.507 kerentanan yang diketahui ditemukan dalam 188 proyek.
Pada Juli 2025, Claude Sonnet 4 dari Anthropic mampu menemukan sekitar 20 persen kerentanan dalam *benchmark* tersebut. Pada Oktober 2025, sebuah model baru, Claude Sonnet 4.5, mampu mengidentifikasi 30 persen. “Agen-agen AI mampu menemukan *zero-day*, dan dengan biaya yang sangat rendah,” kata Song.
Song mengatakan tren ini menunjukkan kebutuhan akan *countermeasure* baru, termasuk menggunakan AI untuk membantu para ahli *cybersecurity*. “Kita perlu memikirkan bagaimana sebenarnya membuat AI lebih membantu di sisi pertahanan, dan seseorang dapat mengeksplorasi berbagai pendekatan,” jelasnya.
Satu ide adalah bagi perusahaan-perusahaan AI *frontier* untuk membagikan model dengan peneliti keamanan sebelum peluncuran, sehingga mereka dapat menggunakan model tersebut untuk menemukan *bug* dan mengamankan sistem sebelum rilis umum.
*Countermeasure* lain, kata Song, adalah memikirkan ulang cara perangkat lunak dibangun sejak awal. Labnya telah menunjukkan bahwa memungkinkan untuk menggunakan AI guna menghasilkan kode yang lebih aman daripada yang digunakan kebanyakan pemrogram saat ini. “Dalam jangka panjang kami berpikir pendekatan *secure-by-design* ini akan sangat membantu pihak bertahan,” ujar Song.
Tim RunSybil mengatakan bahwa, dalam jangka pendek, keterampilan pengkodean model AI dapat berarti para peretas mendapatkan keunggulan. “AI dapat menciptakan tindakan pada komputer dan menghasilkan kode, dan itu adalah dua hal yang dilakukan peretas,” kata Herbert-Voss. “Jika kapabilitas itu berakselerasi, itu berarti aksi keamanan ofensif juga akan berakselerasi.”
Ini adalah sebuah edisi dari newsletter AI Lab milik Will Knight. Baca edisi sebelumnya di sini.