Cloudflare, Salı günü yaptığı açıklamada, müşterilerin web sitelerini ve verilerini AI sistemleri adına kazımak için dağıtılan web tarayıcılar için ücretleri engellemesine veya ücretlendirmesine izin vereceğini açıkladı.
Kurumsal web sitesindeki bir blogda, Cloudflare’nin ürün başkan yardımcısı Will Allen ve bir mühendis yöneticisi Simon Newton, şirketin müşterilerinden geri bildirim aldıktan sonra AI web tarayıcılarını sınırlamak için yeni bir sistem kurduğunu söyledi.
“Trawn-Pay-Pay” adı verilen beta özelliği, web altyapısı, HTTP durum kodları ve müşteri web sitelerine ücretli içerik erişimine izin veren kimlik doğrulama mekanizmaları ile entegre olur.
Hareket, dünyadaki her 5 web sitesinden yaklaşık 1’i için barındırma ve siber güvenlik hizmetleri sağlayan şirketin, ne yapay zeka tarlayıcılarına verilerine sınırsız erişim vermek veya uygulamayı tamamen engellemek istemeyen müşterilerden aldığı geri bildirimlerin sonucudur.
Allen ve Newton, “Haber organizasyonları, yayıncılar ve büyük ölçekli sosyal medya platformlarıyla yüzlerce görüşmeden sonra, üçüncü bir yol için tutarlı bir istek duyduk: AI tarayıcılarının içeriklerine erişmesine izin vermek istiyorlar, ancak telafi etmek istiyorlar” diye yazdı.
Etki alanı sahipleri, her istek için sabit bir ücret atayabilir, yayıncılara paletli tamamen engelleme, ücretsiz erişim sağlama veya erişim için alan çapında bir fiyat ödeme seçeneği sunabilir. Cloudflare, hem borsalar için kayıt tüccarı olarak hareket edecek hem de tarama başına ödeme yapmak için temel teknik altyapıyı sağlayacak.
Bu arada AI tarayıcıları, bir CloudFlare’in beta programı için kayıt sayfasına göre, sisteme kayıt yaptırabilir, farklı kaynaklar için fiyatlandırma seçeneklerine bakın ve sistemin maliyetlere değip değmeyeceğine karar vermesi için maksimum fiyat noktaları belirleyebilir. Kötü aktörlerin meşru tarayıcılara sahtekarlık yapmasını ve hileli ödemeler toplamasını önlemek için, AI tarayıcılar ayrıca CloudFlare’e kaydolmalı ve anahtar dizinlerinin ve kullanıcı aracısı bilgilerinin URL’sini sağlamalıdır.
Sık sorulan sorular bölümüne yapılan bir giriş, trilyonlarca talepte bulunan ve her gün otomatik hizmet reddi saldırılarını geri alan şirketin, arama motoru bot programlarından, doğrulanmış bot programlarından ve diğer “iyi” formlarından otomatik web kazıcılarından ayrılmak için bir kombinasyon kullanan “dünyanın en gelişmiş bot yönetimi çözümleri” olduğunu söylüyor.
Duyuru, AI modellerinin sistemlerini beslemesi ve eğitmesinin birincil yollarından birine potansiyel olarak önemli bir darbe işaret ediyor: Web-Scraping teknolojisi aracılığıyla halka açık verilerin her hurdasını toplayarak.
Web kazıma yeni olmaktan uzaktır, ancak büyük dil modellerinin veri aç ihtiyaçları, uygulamayı potansiyel olarak sürdürülemez seviyelere çıkardı, trafik bant genişliğini yedi, sitelerin daha yavaş yüklenmesine ve diğer hizmet aksamalarına neden oldu. Wikimedia Vakfı, Ocak 2024’ten bu yana en pahalı trafiğinin% 65’inin botlardan geldiğini söyledi. Ayrıca, multimedya içeriğinin indirilmesi için kullanılan bant genişliğinin%50 arttığını gördü, bu da AI kazıyıcılarının genişlemesinin “sitelerimizi herkes için hazır tutan temel altyapı üzerinde önemli bir yüke neden olduğunu” belirtti.
Vakıf üyeleri Nisan ayında, “Bu trafiğin çoğu büyük dil modelleri (LLM’ler) ve diğer kullanım durumları için eğitim veri toplayan botların kazınmasıyla tahrik ediliyor” dedi. “İçeriğimiz için otomatik talepler, daha geniş teknoloji ekonomisinin yanı sıra kazıma, API’lar ve toplu indirmeler dahil mekanizmalar yoluyla katlanarak büyüdü.”
Allen ve Newton, tarama başına ödeme gibi özelliklerin, AI Systems’ın mevcut her kaynaktan veri topladığı için “İçeriğin çevrimiçi olarak nasıl kontrol edildiğini” daha büyük bir değişimin bir parçası olduğunu yazdı. Programın farklı işlem türlerini ve pazar yerlerini kapsamak için yıllar içinde “önemli ölçüde” gelişmesini bekliyorlar.
Yazarlar, “Örneğin, bir yayıncı veya yeni kuruluş farklı yollar veya içerik türleri için farklı fiyatlar almak isteyebilir” diye yazdı. “Dinamik fiyatlandırmayı sadece talep üzerine değil, aynı zamanda AI uygulamanızın kaç kullanıcısına dayalı olarak nasıl tanıtıyorsunuz? Eğitim, çıkar, arama veya tamamen yeni bir şey için internet ölçeğinde nasıl ayrıntılı lisanslar getiriyorsunuz?”
Web siteleri ve veri sahipleri için bir tazminat sistemi oluşturma hareketi, Openai gibi AI şirketlerinin sanatçılardan, yazarlardan, yayıncılardan ve AI şirketlerinin sistemlerini eğittiğini ve başkaları tarafından üretilen içeriklerden kar elde ettiklerini iddia eden diğer içerik yaratıcılarından çok sayıda telif hakkı davası ile karşı karşıya kaldıklarından geliyor.