Cloudflare, web sitelerine daha fazla kontrol sağlamak için AI şirketlerine hizmet eden web crawller'larını filtreleme kararı aldı. Şirket, bu kararıyla web sitelerinin içeriğinin nasıl kullanıldığına daha fazla kontrol sağlamayı amaçlıyor.
Cloudflare CEO'su ve kurucu ortağı Matthew Prince, "İnternet'teki majority trafik artık insan değil, bu nedenle daha hızlı ve daha sürdürülebilir bir ekosistem ortaya çıkarmak için daha ileri gitmeliyiz" dedi. "Cloudflare'in yeni araçları ve ortaklıkları web sitesi sahiplerine daha fazla görünürlük ve ticari fırsatlar sunuyor ve AI şirketlerine de açık ve şeffaf niyetleri olan botlar sağlıyor."
Web trafiği eskiden web sitelerinin reklamlarının görüntülendiğini veya aboneliklerinin satın alındığını gösterirdi, ancak AI modellerinin web sitelerini ziyaret ederek güncel bilgileri çekmesi bu sistemi değiştirdi. Cloudflare'in yeni yaklaşımı, AI şirketleri ve web sitesi sahipleri için adil bir ilişki kurmaya çalışıyor.
15 Eylül 2026'dan itibaren Cloudflare, yeni müşterileri ve mevcut müşterilerin yeni web siteleri için varsayılan olarak arama için izin verecek ancak eğitim ve ajan kullanımı için engelleme yapacak. Karma kullanım crawller'ları da web siteleri için engellen edecek. Ücretsiz hesapları olan kullanıcılar da bu varsayılan ayarları kabul etmedikçe, 15 Eylül öncesi opt-out yapacaklar.
Cloudflare, ayrıca 2025'te tanıttığı Pay Per Crawl özelliğini güncellendi. Bu özellik, web sitelerinin AI web crawller'larını engelleme yeteneği sunuyordu. Şimdi Pay Per Use olarak adlandırılan bu özellik, web sayfalarının AI chatbot'larından cevaplarında görünmesi durumunda web sitesi sahiplerine ödeme yapılacak.
Cloudflare'in bu hamlesi, genel olarak web siteleri ve AI şirketleri arasındaki ilişkiyi daha adil hale getirmeyi amaçlarken, aynı zamanda Google'a da dolaylı olarak hedef alıyor. Cloudflare'in açıklaması, "en büyük arama motorunun diğer AI şirketlerine göre yaklaşık 2 kat daha fazla bilgiye erişimi var, çünkü müşterilerin keşfedilebilir kalmasını sağlamak için AI için de kullanılmalarını zorlaştırıyor" diyor. Google'ın ana crawleri Googlebot, web sitelerini şirketin çeşitli arama motorları için dizinliyor ve Gemini'yi eğitmek ve AI özelliklerini güçlendirmek için bilgi topluyor.
