Cloudflare Secara Default Memblokir Crawler AI
Tahun lalu, perusahaan infrastruktur internet Cloudflare meluncurkan alat yang memungkinkan pelanggannya untuk memblokir pengikis data AI. Hari ini, perusahaan mengambil langkah lebih jauh dalam memerangi pengikisan tanpa izin. Mereka kini secara default memblokir crawler AI untuk pelanggan serta meluncurkan program Pay Per Crawl, yang memungkinkan pelanggan menagih perusahaan AI untuk mengikis situs mereka. Web crawler … Baca Selengkapnya