Menurut pendiri Dark Visitors Gavin King, sebagian besar agen AI utama masih mematuhi robots.txt. “Itu telah cukup konsisten,” katanya. Tapi tidak semua pemilik situs web memiliki waktu atau pengetahuan untuk terus-menerus memperbarui file robots.txt mereka. Dan bahkan ketika mereka melakukannya, beberapa bot akan melanggar petunjuk file itu: “Mereka mencoba menyamar lalu lintas.”
Prince mengatakan pemblokiran bot Cloudflare tidak akan menjadi perintah yang bisa diabaikan oleh pelaku jahat semacam itu. “Robots.txt seperti memasang tanda ‘larangan masuk’,” katanya. “Ini seperti memiliki dinding fisik yang dijaga oleh penjaga bersenjata.” Sama seperti menandai jenis perilaku web mencurigakan lainnya, seperti bot penambang harga yang digunakan untuk pemantauan harga ilegal, perusahaan telah menciptakan proses untuk mendeteksi bahkan AI crawler yang paling hati-hati terselubung.
Cloudflare juga mengumumkan pasar yang akan datang bagi pelanggan untuk bernegosiasi syarat penggunaan scraping dengan perusahaan AI, baik melibatkan pembayaran untuk menggunakan konten atau barter untuk kredit menggunakan layanan AI sebagai imbalan untuk scraping. “Kami sebenarnya tidak peduli apa transaksinya, tapi kami pikir bahwa harus ada cara untuk memberikan nilai kembali kepada para pencipta konten asli,” kata Prince. “Kompensasi tidak harus berupa dolar. Kompensasi bisa berupa kredit atau pengakuan. Bisa banyak hal.”
Tidak ada tanggal pasti untuk meluncurkan pasar tersebut, tetapi bahkan jika diluncurkan tahun ini, akan bergabung dengan lapangan proyek yang semakin ramai yang dimaksudkan untuk memfasilitasi perjanjian lisensi dan pengaturan izin lainnya antara perusahaan AI, penerbit, platform, dan situs web lainnya.
Apa pendapat perusahaan AI tentang ini? “Kami telah berbicara dengan sebagian besar dari mereka, dan reaksi mereka bervariasi dari ‘ini masuk akal dan kami terbuka’ hingga ‘pergilah ke neraka,'” kata Prince. (Dia tidak mau menyebutkan nama-nama, meski begitu.)
Proyek ini telah berjalan cukup cepat. Prince mengutip percakapan dengan CEO Atlantic (dan mantan editor in chief WIRED) Nick Thompson sebagai inspirasi untuk proyek ini; Thompson telah membahas betapa banyak penerbit yang menghadapi pembuat web yang menyamar. “Saya senang dia melakukannya,” kata Thompson. Jika bahkan organisasi media terkenal kesulitan menghadapi masuknya pembuat web, Prince beralasan, blogger independen dan pemilik situs web akan menghadapi kesulitan yang lebih besar.
Cloudflare telah menjadi perusahaan keamanan web terkemuka selama bertahun-tahun, dan menyediakan sebagian besar infrastruktur yang menopang web. Secara historis, perusahaan telah tetap seneutral mungkin tentang konten situs webnya; pada kesempatan langka ketika itu membuat pengecualian dari aturan itu, Prince telah menekankan bahwa dia tidak ingin Cloudflare menjadi arbiter apa yang diizinkan secara online.
Di sini, dia melihat Cloudflare sebagai posisi unik untuk mengambil sikap. “Jalur yang kita tempuh tidak dapat dipertahankan,” kata Prince. “Semoga kita bisa menjadi bagian dari memastikan bahwa manusia dibayar untuk pekerjaan mereka.”