D-Keine/Getty
Jaringan Pengiriman Konten Internet (CDN) utama, Cloudflare, telah menyatakan perang terhadap perusahaan AI. Mulai 1 Juli, Cloudflare kini memblokir secara default crawler AI yang mengakses konten dari situs web tanpa izin atau kompensasi.
Perubahan ini menangani masalah nyata. Situs kecil saya, Practical Technology, tempat saya melacak semua cerita, kadang melambat drastis karena crawler AI. Bukan hanya saya. Banyak pemilik situs melaporkan bahwa crawler AI seperti GPTBot milik OpenAI dan ClaudeBot dari Anthropic, menghasilkan banyak permintaan otomatis yang menyumbat situs hingga jadi sangat lambat. Bahkan Vercel, layanan hosting cloud, dilaporkan dibombardir lebih dari 4,5 miliar permintaan per bulan oleh crawler.
Crawler AI sering kali lebih agresif dibanding crawler mesin pencari tradisional. Mereka kadang mengunjungi ulang halaman yang sama setiap beberapa jam atau bahkan mengirim ratusan permintaan per detik. Meski perusahaan AI menyangkal, bukti menunjukkan hal sebaliknya.
Atas nama dua juta lebih pelanggannya (20% web), Cloudflare kini memblokir crawler AI. Untuk situs baru, crawler AI otomatis diblokir kecuali pemilik memberi izin. Cloudflare juga berjanji mendeteksi scraper “shadow” lewat analisis perilaku dan machine learning.
Kini, pemblokiran menjadi default. Perusahaan AI harus meminta akses dan jelaskan tujuannya—entah untuk pelatihan model, pencarian, atau lainya—sebelum diizinkan.
Perubahan ini muncul akibat frustrasi pemilik situs dan perusahaan penerbitan seperti The Associated Press, Condé Nast, dan Ziff Davis, yang kecewa AI “menambang” konten web tanpa kompensasi atau izin, bahkan mengabaikan robots.txt.
Pengadilan baru-baru ini memutuskan mendukung Meta dan Anthropic, menyatakan penggunaan konten berhak cipta mereka legal di bawah doktrin fair use. Tentu saja, penulis, seniman, dan penerbit tidak suka ini.
Cloudflare juga meluncurkan program “Bayar Per Crawl”, memungkinkan penerbit menetapkan tarif untuk perusahaan AI yang ingin men-scrape konten mereka. Sistem ini menggunakan kode respons HTTP 402 (“Pembayaran Diperlukan”).
Ini langkah besar. Berkat dominasi Cloudflare di internet, banyak konten web bisa tak terjangkau AI kecuali mereka bernegosiasi atau bayar lisensi. Seperti kata CEO The Atlantic, Nicholas Thompson, “Kini mereka harus berunding.”
Sebaliknya, perusahaan AI seperti Meta mengklaim meminta izin sebelum men-scrape konten berhak cipta akan “membunuh industri AI.”
Dengan kebijakan baru ini, era crawler AI tanpa batas mungkin berakhir—setidaknya untuk 20% web yang menggunakan Cloudflare. Akankah CDN lain seperti Akamai mengikuti? Kita tunggu.
Dapatkan berita terbaru setiap pagi dengan berlangganan Tech Today.