iStock / Getty Images Plus
Cloudflare, salah satu Content Delivery Network (CDN) terbesar di internet, telah menyatakan perang terhadap perusahaan AI. Mulai 1 Juli, Cloudflare sekarang memblokir default crawler AI yang mengakses konten dari situs web tanpa izin atau kompensasi.
Perubahan ini menanggapi masalah nyata. Situs kecil saya, Practical Technology, tempat saya melacak semua tulisan, sering melambat drastis karena crawler AI. Bukan cuma saya. Banyak pemilik situs mengeluh bahwa crawler seperti GPTBot OpenAI dan ClaudeBot Anthropic menghasilkan permintaan otomatis dalam volume besar yang menyumbat situs hingga jadi sangat lambat. GoogleBot saja melaporkan bahwa layanan hosting Vercel membombardir situsnya dengan 4,5 miliar permintaan per bulan.
Crawler AI sering kali lebih agresif dibanding crawler mesin pencari tradisional. Mereka kadang mengunjungi halaman yang sama setiap beberapa jam, bahkan meluncurkan ratusan permintaan per detik. Meski perusahaan AI menyangkal, bukti berbicara sebaliknya.
Atas nama dua juta lebih pelanggannya (20% web), Cloudflare kini memblokir crawler AI. Untuk situs baru, crawler AI otomatis diblokir kecuali pemilik memberi izin eksplisit. Cloudflare juga berjanji mendeteksi shadow scraper (bot yang mencoba menghindari deteksi) lewat analisis perilaku dan machine learning. Apa yang baik untuk angsa, baik juga untuk bebek.
Perubahan ini membalikkan status quo sebelumnya, di mana pemilik situs harus opt-out dari crawling AI. Sekarang, pemblokiran menjadi default, dan vendor AI harus meminta akses serta menjelaskan tujuannya—entah untuk pelatihan model, pencarian, atau lainnya.
Ini bukan hanya soal pemilik situs yang frustrasi. Perusahaan penerbit seperti The Associated Press, Condé Nast, dan Ziff Davis (induk ZDNET) kesal karena perusahaan AI "menambang" konten web tanpa kompensasi atau izin, bahkan mengabaikan protokol standar seperti robots.txt.
(Catatan: Ziff Davis menggugat OpenAI pada April 2025, menuduh pelanggaran hak cipta dalam pelatihan AI.)
Selain itu, kasus pengadilan terbaru memenangkan Meta dan Anthropic, menyatakan penggunaan karya berhak cipta mereka legal di bawah fair use. Tentu saja, penulis, seniman, dan penerbit tidak suka ini. Mereka khawatir pemerintah akan memberi AI kebebasan penuh atas konten mereka.
Setelah Kantor Hak Cipta AS merilis laporan 108 halaman tentang AI dan hak cipta—yang berusaha menyeimbangkan kepentingan industri—kepala kantor tersebut dipecat oleh pemerintahan Trump dan diganti pengacara tanpa pengalaman di bidang hak cipta.
Dalam situasi ini, wajar jika penerbit mencari sekutu di dunia teknologi.
Seperti dikatakan CEO Cloudflare Matthew Prince, kebijakan baru ini bertujuan "memberi kontrol pada penerbit dan membangun model ekonomi yang adil untuk semua—kreator, konsumen, pendiri AI, dan masa depan web itu sendiri."
Cloudflare juga meluncurkan program "Pay Per Crawl", memungkinkan penerbit menetapkan tarif untuk perusahaan AI yang ingin scrape konten mereka. Sistem ini masih dalam private beta dan menggunakan kode HTTP 402 ("Payment Required") untuk meminta pembayaran.
Ini langkah besar. Karena Cloudflare menguasai sebagian besar internet, banyak konten web bisa tak terjangkau AI kecuali mereka bernegosiasi atau bayar lisensi. Nicholas Thompson, CEO The Atlantic, menegaskan, "AI tak perlu bayar lisensi sebelumnya karena bisa mengambil konten tanpa konsekuensi. Sekarang mereka harus bernegosiasi."
Sebagian besar perusahaan AI menentang pembayaran konten. Sir Nick Clegg, mantan Wakil PM Inggris dan eksekutif Meta, bahkan bilang, meminta izin seniman sebelum scrape konten berhak cipta "pada dasarnya akan membunuh industri AI."
Kebijakan baru Cloudflare adalah tanggapan langsung terhadap sikap ini dan meningkatnya intrusiveness crawler AI. Ini juga upaya menghentikan penyedotan lalu lintas yang seharusnya ke penerbit.
Sejak AI berkembang, lalu lintas ke situs berita anjlok. Traffic Business Insider turun 55% dari April 2022 hingga April 2025. Thompson memprediksi, tanpa tindakan, lalu lintas The Atlantic dari Google bisa jatuh ke nol.
Apa berikutnya? Akankah CDN lain seperti Akamai mengikuti? Nantikan. Untuk sekarang, era crawling AI tanpa batas tampak berakhir—setidaknya untuk seperlima internet yang melewati Cloudflare.
Dapatkan berita terbaru setiap pagi dengan Newsletter Tech Today.