Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Blotları engellemek için yeni kurallar varsayılan, tarama başına ödeme seçeneği sunmak
Rashmi Ramesh (Rashmiramesh_) •
1 Temmuz 2025
Global Web trafiğinin% 16’sını yönlendiren bir İnternet Altyapısı firması, AI botlarını sahibinden açık bir izin almadığı sürece barındırdığı yeni alanlardan engelleyecektir. Salı günü Cloudflare, yayıncıların bir siteye her eriştiklerinde AI tarayıcılarını şarj etmelerini sağlayan bir platform olan “Crawl Pay” ı da başlattı.
Ayrıca bakınız: Verileri Güçlendirecek Verileri Dönüştürmek AI: Değer, Güven ve Etkinin Kilidini Açma
Cloudflare CEO’su Matthew Prince, “AI tarayıcıları sınırsız içeriği kazıyorlar.” Dedi. “Hedefimiz, AI şirketlerinin yenilik yapmasına yardımcı olurken, gücü yaratıcıların ellerine geri koymak.”
Göz kürelerini yönlendirme karşılığında içeriğin örtük bir pazarlığını sunan geleneksel arama motorlarından farklı olarak – AI tarayıcılar çoğunlukla kredi veya tazminat olmadan materyal hasat eder.
Cloudflare’nin AI gizliliği, kontrol ve medya ürünleri başkanı Will Allen, AI bot hurdalarının temel bir değişime neden olduğunu söyledi. MIT Technology Review, “Geleneksel olarak, konuşulmayan anlaşma, bir arama motorunun içeriğinizi dizine ekleyebileceğiydi, o zaman belirli bir sorguyla ilgili bağlantıları gösterecek ve size trafiği web sitenize geri göndereceklerdi.” “Bu temelde değişiyor.”
Cloudflare, Haziran ayında, Google’ın paletli web sitelerini atıfta bulunduğu her ziyaret için 14 kez kazınmış, Openai’nin paletli sevk başına 17.000 sıyrık gerçekleştirdiğini ve Antropic’in oranının 73.000’e ulaştığını buldu.
Tarama başına ödeme, yayıncılar için bir seçim sunar. Site sahipleri tarayıcıları tamamen engelleyebilir, her tarama için ücretsiz olarak izin verebilir veya eğitim verilerine bir fiyat etiketi koyabilir. Tarayıcıların kendilerini Cloudflare’nin bot doğrulama sistemi aracılığıyla tanımlamaları, hangi şirketin çalıştıklarını ve verilerin hangi amaca hizmet edeceğini bildirmeleri beklenmektedir – ister eğitim, ince ayar veya kullanıcı sorgularına yanıt verir.
Cloudflare, kullanıcılar adına web sitelerini ziyaret eden AI destekli ajanlar yaygınlaştıkça sistemin daha alakalı olabileceğini söyledi. “Ya bir ajan ödeme duvarı tamamen programlı bir şekilde çalışabilirse?” Şirket bir blogda spekülasyon yaptı.
Battaniye yaklaşımı da istenmeyen sonuçları riske atabilir. MIT Media Lab’da bir doktora adayı olan Shayne Longpre, MIT Technology’ye verdiği demeçte, “Tüm AI sistemleri tüm Web yayıncılarıyla rekabet etmiyor. Tüm AI sistemleri ticari değil.” Dedi. “Kişisel kullanım ve açık araştırmalar burada feda edilmemelidir.”
Cloudflare, web sitesine daha fazla kontrol vermenin daha sağlıklı bir web ekosistemine yol açacağını söyledi. Şirket, doğrulanmamış tarayıcıların AI tarafından oluşturulan tuzak sayfalarına yönlendirilmesi de dahil olmak üzere kötü aktörlerin tespitine ve caydırılmasına yardımcı olacak araçlar tanıttı. Allen, Cloudflare’nin kötü niyetli botları hafifletme deneyiminin, tarayıcıları tanımlama ve yönetme stratejisini bilgilendirdiğini söyledi. “İnternette en son içeriği arayan bir web tarayıcısı sadece başka bir bot türüdür, bu nedenle açıkça kötü niyetli botlar için trafik ve ağ modellerini anlamak için tüm çalışmalarımız, bir paletleyicinin ne yaptığını anlamamıza yardımcı olur.”
Birkaç yayıncı zaten Cloudflare’nin modeline kaydoldu. Associated Press, Time, Conde Nast gibi medya kuruluşları ve Stack Overflow ve Quora gibi platformlar, taramaya izin tabanlı bir yaklaşım onayladı. Cloudflare’in duyurusunda Stack Overflow CEO’su Prashanth Chandrasekar, “Yakıt LLM’lerinin katkılarından dolayı telafi edilmesi gereken topluluk platformları, katkılarından dolayı telafi edilmelidir.” Dedi.
Tarama başına ücret hala deneyseldir. Yayıncılar ve AI şirketleri, fiyatları belirlemek ve işlemleri işlemek için Cloudflare’nin platformunu kullanmalıdır ve şirket şimdiye kadar bir fiyat aralığı belirlememiştir.
Cloudflare, ödemeye başlamak için serbest erişime alışkın olan AI şirketlerini ikna etmenin zorluklarını kabul etti, ancak içeriğin yeni nesil AI’ya nasıl güç verdiğini yeniden şekillendirebilecek aracı anlaşmalarına sahip birkaç oyuncudan biri olarak gördüğünü söyledi.