Asisten virtual viral OpenClaw—yang sebelumnya dikenal sebagai Moltbot, dan sebelumnya lagi Clawdbot—merupakan simbol dari sebuah revolusi yang lebih luas yang sedang berlangsung dan berpotensi mengubah fundamental cara kerja internet. Alih-alih menjadi tempat yang terutama dihuni manusia, web mungkin segera akan didominasi oleh bot AI otonom.
Sebuah laporan baru yang mengukur aktivitas bot di web, serta data terkait yang dibagikan kepada WIRED oleh perusahaan infrastruktur internet Akamai, menunjukkan bahwa bot AI sudah menyumbang porsi yang signifikan dari lalu lintas web. Temuan ini juga mengungkap perlombaan senjata yang semakin canggih, di mana bot menggunakan taktik pintar untuk melewati pertahanan situs web yang dirancang untuk mengecualikan mereka.
“Mayoritas internet di masa depan akan menjadi lalu lintas bot,” ujar Toshit Pangrahi, salah satu pendiri dan CEO TollBit, perusahaan pelacak aktivitas web-scraping yang menerbitkan laporan baru tersebut. “Ini bukan sekadar masalah hak cipta, ada pengunjung baru yang muncul di internet.”
Sebagian besar situs web besar berusaha membatasi konten yang bisa di-scrap oleh bot untuk tujuan pelatihan sistem AI. (Perusahaan induk WIRED, Condé Nast, beserta penerbit lainnya, saat ini sedang menggugat beberapa perusahaan AI atas dugaan pelanggaran hak cipta terkait pelatihan AI.)
Namun, jenis lain dari web-scraping terkait AI kini juga sedang meningkat. Banyak chatbot dan alat AI lainnya kini dapat mengambil informasi real-time dari web dan menggunakannya untuk meningkatkan dan memperkaya output mereka. Ini bisa mencakup harga produk terkini, jadwal bioskop, atau ringkasan berita terbaru.
Menurut data dari Akamai, lalu lintas bot untuk pelatihan telah meningkat secara stabil sejak Juli lalu. Sementara itu, aktivitas global dari bot yang mengambil konten web untuk agen AI juga sedang naik daun.
“AI sedang mengubah web seperti yang kita kenal,” kata Robert Blumofe, Chief Technology Officer Akamai, kepada WIRED. “Perlombaan senjata yang menyusul akan menentukan tampilan, nuansa, dan fungsionalitas web di masa depan, serta dasar-dasar dalam berbisnis.”
Pada kuartal keempat 2025, TollBit memperkirakan rata-rata satu dari setiap 50 kunjungan ke situs web klien mereka berasal dari bot AI yang melakukan scraping. Pada tiga bulan pertama 2025, angka itu hanya satu dari setiap 200 kunjungan. Perusahaan menyatakan bahwa pada kuartal keempat, lebih dari 13 persen permintaan bot berhasil melewati robots.txt, sebuah file yang digunakan oleh beberapa situs web untuk menunjukkan halaman mana yang harus dihindari bot. TollBit menyebut porsi bot AI yang mengabaikan robots.txt meningkat 400 persen dari kuartal kedua ke kuartal keempat tahun lalu.
TollBit juga melaporkan kenaikan 336 persen dalam jumlah situs web yang berupaya memblokir bot AI selama setahun terakhir. Pangrahi mengatakan teknik scraping menjadi semakin canggih seiring situs web berusaha mengontrol akses bot terhadap konten mereka. Beberapa bot menyamarkan diri dengan membuat lalu lintasnya tampak seperti berasal dari browser web normal atau mengirim permintaan yang dirancang meniru interaksi manusia dengan situs web. Studi TollBit mencatat bahwa perilaku beberapa agen AI kini hampir tidak dapat dibedakan dari lalu lintas web manusia.
TollBit memasarkan alat yang dapat digunakan pemilik situs web untuk menagih bot AI yang mengakses konten mereka. Perusahaan lain, termasuk Cloudflare, juga menawarkan alat serupa. “Siapa pun yang mengandalkan lalu lintas web manusia—dimulai dari penerbit, tetapi pada dasarnya semua orang—akan terdampak,” ucap Pangrahi. “Diperlukan cara yang lebih cepat untuk melakukan pertukaran nilai secara programatik, dari mesin ke mesin.”