OpenAI, Google, Microsoft ve Anthropic, yayıncıların yapay zekâ tarafından taranmaktan çıkma tercihlerini tek bir yerde belirleyebileceği yeni bir standardı benimseyeceklerini açıkladı. Karar daha önce Search Engine Roundtable tarafından bildirilmişti. Bu kontrolle yayıncılar tercihlerini her yapay zekâ şirketine ayrı ayrı vermek yerine toplu olarak uygulayabilecek.
Ortak "policy token" sinyali, Anthropic'te standartlar için teknik lider olan Kevin Kelley tarafından önerildi ve Internet Engineering Task Force, IETF kapsamında ele alınıyor. Sinyal, web sitelerinin uzun süredir arama indeksleme, arşivleme veya yapay zekâ eğitimi için hangi web tarayıcılarının siteyi tarayabileceğini veya tarayamayacağını bildirdiği robots.txt dosyası içinde yer alacak. Şu anda siteler yapay zekâ eğitim tercihlerini her yapay zekâ şirketine ayrı ayrı bildirmek zorunda.
Açıklama, yayıncıların sitelerini tarayan yapay zekâ botlarının artışı ve içeriklerinin yapay zekâ modellerine beslenmesiyle boğuştuğu bir dönemde geldi. Yetkisiz taramayla mücadele girişimleri arasında yayıncıların sitelerini ziyaret eden tarayıcılardan ücret almasını sağlayan Really Simple Licensing, RSL standardı ve Cloudflare'in varsayılan olarak yapay zekâ tarayıcılarını engellemesi yer alıyor.
OpenAI, Google, Microsoft ve Anthropic, paylaştıkları token ile karşılaşmaları halinde yapay zekâ tarayıcılarının siteye erişimini kısıtlayacaklarını söyledi. Meta iletişim sorumlusu Andy Stone da yeni ayara destek verdiğini belirtti ancak şirketin bunu uygulayıp uygulamayacağını söylemedi. Stone, "Birden fazla sağlayıcıya aynı anda bu tercihleri ileten ortak bir sinyal oluşturmanın önemli bir adım olduğuna inanıyoruz" dedi. "Standartların ve sektör genelinde uygulanmasının diğer yapay zekâ şirketleriyle birlikte çalışmayı dört gözle bekliyoruz" ifadelerini kullandı.
Microsoft, yayıncılara yapay zekâ eğitimi veya yapay zekâ modelini yanılsamaları azaltmak için doğrulanmış bir bilgi kaynağına yönlendiren AI grounding sürecinden çıkma imkânı verecek ayrıntılı kontroller sunacağını söyledi. Microsoft, web sitelerinin tercihleri ne olursa olsun Bing arama sonuçlarında görünmeye devam edeceğini belirtti. Google daha önce de sitelerin içeriklerinin yapay zekâ arama özelliklerinde görünmesini veya yapay zekâ eğitiminde kullanılmasını kontrol edebileceği benzer kontrolleri uygulamıştı; bu durum arama görünürlüğünü etkilemiyordu.
Anthropic sinyali zaten benimsemiş durumda. Google ve Microsoft'un gelecek yıl desteklemesi planlanıyor. OpenAI ise "önümüzdeki aylarda" uygulayacağını söyledi.
Güncelleme, 30 Ekim: Meta'dan gelen yorum eklendi.