Alat Baru Cloudflare Memungkinkan Situs Mendeteksi dan Memblokir Bot AI Secara Gratis
Menurut pendiri Dark Visitors Gavin King, sebagian besar agen AI utama masih mematuhi robots.txt. “Itu telah cukup konsisten,” katanya. Tapi tidak semua pemilik situs web memiliki waktu atau pengetahuan untuk terus-menerus memperbarui file robots.txt mereka. Dan bahkan ketika mereka melakukannya, beberapa bot akan melanggar petunjuk file itu: “Mereka mencoba menyamar lalu lintas.” Prince mengatakan pemblokiran … Baca Selengkapnya