Tahun lalu, perusahaan infrastruktur internet Cloudflare meluncurkan alat yang memungkinkan pelanggannya untuk memblokir pengikis data AI. Hari ini, perusahaan mengambil langkah lebih jauh dalam memerangi pengikisan tanpa izin. Mereka kini secara default memblokir crawler AI untuk pelanggan serta meluncurkan program Pay Per Crawl, yang memungkinkan pelanggan menagih perusahaan AI untuk mengikis situs mereka.
Web crawler telah menjelajahi internet untuk mencari informasi selama beberapa dekade. Tanpa mereka, orang akan kehilangan alat daring penting, mulai dari Google Search hingga upaya pelestarian digital Internet Archive. Namun, ledakan AI memicu peningkatan crawler khusus AI, dan bot ini mengikis halaman web dengan frekuensi yang bisa meniru serangan DDoS, membebani server, dan merobohkan situs web. Bahkan jika situs dapat menangani lalu lintas tinggi, banyak yang tidak ingin kontennya diikis oleh crawler AI, terutama publikasi berita yang menuntut pembayaran dari perusahaan AI. “Kami berusaha keras melindungi diri,” kata Danielle Coffey, Presiden dan CEO News Media Alliance, yang mewakili ribuan outlet di Amerika Utara.
Menurut Will Allen, kepala kontrol AI, privasi, dan produk media Cloudflare, lebih dari 1 juta situs pelanggan telah mengaktifkan alat pemblokiran bot AI mereka. Kini, jutaan lainnya dapat memilih pemblokiran default. Cloudflare juga mengklaim dapat mendeteksi crawler “bayangan” yang tidak diumumkan perusahaan AI. Mereka menggunakan analisis perilaku, fingerprinting, dan pembelajaran mesin untuk membedakan bot AI dari bot “baik”.
Protokol standar Robots Exclusion (sering diterapkan via robots.txt) memungkinkan pemblokiran bot, namun tidak wajib secara hukum. Bukti menunjukkan beberapa perusahaan AI mengabaikannya. “Robots.txt diabaikan,” kata Coffey. Laporan dari Tollbit menyatakan pengikisan AI—termasuk yang mengabaikan robots.txt—masih meningkat. Pada Maret 2025 saja, 26 juta scrape melanggar protokol.
Perubahan Cloudflare ini dapat menghambat pengikisan diam-diam dan memberi kekuatan tawar lebih bagi penerbit, baik melalui Pay Per Crawl atau cara lain. “Ini mengubah dinamika kekuasaan. Sejauh ini, perusahaan AI tidak perlu membayar lisensi karena bisa mengambil konten tanpa konsekuensi,” kata Nicholas Thompson, CEO The Atlantic. “Kini mereka harus bernegosiasi, dan ini jadi keunggulan kompetitif bagi yang mampu membuat kesepakatan lebih baik.”
Startup AI ProRata (pengelola mesin pencari Gist.AI) setuju berpartisipasi dalam Pay Per Crawl. “Kami percaya semua pencipta konten harus dibayar saat karyanya digunakan dalam jawaban AI,” kata pendiri Bill Gross.
Masih belum jelas apakah pemain besar AI akan ikut serta dalam program yang masih beta ini. OpenAI telah melakukan kesepakatan lisensi dengan berbagai penerbit, termasuk Condé Nast (induk WIRED), tetapi detailnya—termasuk cakupan akses bot—tidak diungkap.
Sementara itu, banyak tutorial tentang cara menghindari pemblokiran bot Cloudflare beredar. Cloudflare menegaskan pelanggan dapat menonaktifkan pemblokiran jika ingin mengizinkan scraping. “Semua pemblokiran bersifat opsional dan tergantung keputusan pengguna,” kata Allen.