Jika Anda khawatir tentang bot AI menggosok konten situs web Anda untuk melatih AI, Cloudflare dapat membantu Anda melawan.
Perusahaan, yang mengklaim memproksi sekitar 20% web, telah memperkenalkan alat baru yang memblokir semua bot AI dari menggosok teks situs. Cloudflare mengatakan alat ini tersedia untuk semua pelanggan, bahkan yang di tingkat gratis.
Juga: Apakah Anda masih perlu membayar perangkat lunak antivirus pada tahun 2024?
Dengan meningkatnya AI generatif, perusahaan memerlukan konten untuk melatih chatbot. Banyak yang beralih ke scraper web yang menarik teks dari situs untuk analisis (seperti ChatGPT lakukan dengan posting Reddit Anda). Beberapa perusahaan terbuka dan jujur tentang bot penggosok web, tetapi beberapa tidak.
Cloudflare merilis fitur pada bulan September lalu untuk pengguna memblokir web crawler AI “buruk”, atau yang menggosok situs tanpa izin. Tentu saja, beberapa perusahaan menemukan cara untuk menghindari hal ini dengan memiliki scraper yang berpura-pura menjadi otentik. Itulah mengapa alat baru ini memblokir semua pengurai AI, bahkan yang mengikuti protokol yang benar untuk menggosok.
Untuk Juni 2024, bot AI mengakses sekitar 39% dari satu juta “properti internet” teratas menggunakan Cloudflare, kata perusahaan tersebut. Kurang dari 3% properti tersebut mengambil langkah-langkah untuk memblokir bot AI. Menurut Cloudflare, empat bot teratas yang menggosok situsnya adalah Bytespider, Amazonbot, ClaudeBot, dan GPTBot.
Bytespider, dimiliki oleh Bytedance, perusahaan yang memiliki TikTok, digunakan untuk mengumpulkan data pelatihan untuk model bahasa besar, termasuk saingan ChatGPT Doubao. Amazonbot digunakan untuk melatih sisi pertanyaan-jawaban Alexa, ClaudeBot melatih Claude AI, dan GPTBot melatih ChatGPT.
Juga: 5 cara Amazon dapat membuat langganan Alexa berbasis AI layak biaya
Jika Anda pengguna Cloudflare, menggunakan alat ini sangat sederhana. Cukup buka bagian pengaturan dasbor Anda, kemudian klik “Keamanan” dan “Bot.” Dari sana, Anda akan melihat tombol toggle yang berlabel “Penggosok dan Crawler AI.” Aktifkan, dan bot AI tidak akan lagi memiliki akses ke konten Anda.
Tentu saja, bot AI terus berkembang. Cloudflare mengatakan fitur ini akan berkembang secara otomatis juga saat mendeteksi “sidik jari” bot yang melanggar.
Alat baru ini tersedia sekarang untuk semua pengguna Cloudflare mulai hari ini.
