Dalam analisis terpisah yang dilakukan minggu ini, jurnalis data Ben Welsh menemukan bahwa sedikit lebih dari seperempat situs berita yang ia survei (294 dari 1.167 situs berbahasa Inggris dan berbasis di AS) memblokir Applebot-Extended. Dalam perbandingan, Welsh menemukan bahwa 53 persen situs berita dalam sampelnya memblokir bot OpenAI. Google memperkenalkan bot AI khususnya, Google-Extended, bulan September lalu; hampir 43 persen situs tersebut memblokirnya, tanda bahwa Applebot-Extended mungkin masih belum dikenal. Seperti yang dikatakan Welsh kepada WIRED, namun, jumlahnya “secara bertahap meningkat” sejak dia mulai melihatnya.
Welsh memiliki proyek yang sedang berjalan untuk memantau bagaimana media berita mendekati agen AI besar. “Ada sedikit perbedaan yang muncul di antara penerbit berita tentang apakah mereka ingin memblokir bot-bot ini,” katanya. “Saya tidak memiliki jawaban mengapa setiap organisasi berita membuat keputusannya. Tentu saja, kita bisa membaca tentang banyak dari mereka membuat kesepakatan lisensi, di mana mereka dibayar sebagai imbalan untuk membiarkan bot masuk—mungkin itu faktor yang memengaruhi.”
Tahun lalu, The New York Times melaporkan bahwa Apple sedang mencoba menegosiasikan kesepakatan AI dengan penerbit. Sejak itu, pesaing seperti OpenAI dan Perplexity telah mengumumkan kemitraan dengan berbagai media berita, platform sosial, dan situs web populer lainnya. “Banyak penerbit terbesar di dunia jelas mengambil pendekatan strategis,” kata pendiri Originality AI Jon Gillham. “Saya pikir dalam beberapa kasus, ada strategi bisnis yang terlibat—seperti, menahan data sampai ada kesepakatan kemitraan yang terjalin.”
Ada beberapa bukti yang mendukung teori Gillham. Misalnya, situs web Condé Nast dulunya memblokir web crawler OpenAI. Setelah perusahaan mengumumkan kemitraan dengan OpenAI pekan lalu, situs tersebut membuka blokir bot perusahaan tersebut. (Condé Nast menolak berkomentar secara resmi untuk cerita ini.) Sementara itu, juru bicara Buzzfeed Juliana Clifton mengatakan kepada WIRED bahwa perusahaan, yang saat ini memblokir Applebot-Extended, menempatkan setiap bot web-crawling AI yang dapat diidentifikasi ke dalam daftar blokirnya kecuali pemiliknya telah memasuki kemitraan—biasanya berbayar—dengan perusahaan tersebut, yang juga memiliki Huffington Post.
Karena robots.txt harus diedit secara manual, dan ada begitu banyak agen AI baru yang debut, bisa sulit untuk menjaga daftar blokir tetap terbaru. “Orang hanya tidak tahu apa yang harus diblokir,” kata pendiri Dark Visitors Gavin King. Dark Visitors menawarkan layanan freemium yang secara otomatis memperbarui robots.txt situs klien, dan King mengatakan penerbitan merupakan bagian besar kliennya karena masalah hak cipta.
Robots.txt mungkin tampak seperti wilayah kuno para webmaster—tetapi mengingat pentingnya yang besar bagi penerbit digital di era AI, sekarang merupakan domain para eksekutif media. WIRED telah mengetahui bahwa dua CEO dari perusahaan media besar langsung memutuskan bot mana yang harus diblokir.
Beberapa media telah secara eksplisit mencatat bahwa mereka memblokir alat AI scraping karena mereka saat ini tidak memiliki kemitraan dengan pemiliknya. “Kami memblokir Applebot-Extended di semua properti Vox Media, seperti yang kami lakukan dengan banyak alat AI scraping lain ketika kami tidak memiliki perjanjian komersial dengan pihak lain,” kata Lauren Starke, wakil presiden senior komunikasi Vox Media. “Kami percaya dalam melindungi nilai karya yang kami publikasikan.”