Amazon’un bulut bölümü Perplexity AI hakkında bir soruşturma başlattı. WIRED’in öğrendiğine göre, sorun, AI arama girişiminin, bunu engellemeye çalışan web sitelerini kazıyarak Amazon Web Hizmetleri kurallarını ihlal edip etmediğidir.
İsimlerinin verilmemesi şartıyla WIRED’e konuşan bir AWS sözcüsü, şirketin Perplexity ile ilgili soruşturmasını doğruladı. WIRED daha önce, Jeff Bezos aile fonu Nvidia’nın desteğini alan ve yakın zamanda değeri 3 milyar dolar olan girişimin, ortak bir web standardı olan Robot Hariç Tutma Protokolü aracılığıyla erişimi yasaklayan alıntı web sitelerinden gelen içeriğe güvendiğini tespit etmişti. . Robotları Hariç Tutma Protokolü yasal olarak bağlayıcı olmasa da, hizmet şartları genel olarak bağlayıcıdır.
Robots Exclusion Protocol, otomatik botlar ve tarayıcılar tarafından hangi sayfalara erişilmemesi gerektiğini belirtmek için bir etki alanına düz metin dosyası (wired.com/robots.txt gibi) yerleştirmeyi içeren onlarca yıllık bir web standardıdır. Kazıyıcı kullanan şirketler bu protokolü görmezden gelmeyi seçebilirken, çoğu geleneksel olarak buna saygı duymuştur. Amazon sözcüsü WIRED’a AWS müşterilerinin web sitelerini tararken robots.txt standardına uymaları gerektiğini söyledi.
Sözcü, yaptığı açıklamada, “AWS’nin hizmet şartları, müşterilerin hizmetlerimizi herhangi bir yasa dışı faaliyet için kullanmasını yasaklamaktadır ve müşterilerimiz şartlarımıza ve geçerli tüm yasalara uymaktan sorumludur” dedi.
Perplexity’nin uygulamalarının incelenmesi, Forbes’un 11 Haziran tarihli, girişimi makalelerinden en az birini çalmakla suçlayan bir raporunun ardından geldi. WIRED araştırmaları bu uygulamayı doğruladı ve Perplexity’nin yapay zeka destekli arama sohbet robotuna bağlı sistemler tarafından kazıma kötüye kullanımı ve intihal konusunda daha fazla kanıt buldu. WIRED’ın ana şirketi olan Condé Nast’ın mühendisleri, Perplexity’nin tarayıcısını bir robots.txt dosyası kullanarak tüm web sitelerinde engelledi. Ancak WIRED, şirketin son üç ayda Condé Nast mülklerini en az yüzlerce kez ziyaret eden yayınlanmamış bir IP adresi (44.221.181.252) kullanan bir sunucuya eriştiğini buldu; görünüşe göre Condé Nast web sitelerini kazımak için.
Perplexity ile ilişkili makinenin, botların içeriğine erişmesini engelleyen haber sitelerinde yaygın bir tarama yaptığı anlaşılıyor. The Guardian, Forbes ve The New York Times’ın sözcüleri de sunucularında IP adresini birden fazla kez tespit ettiklerini söylüyor.
WIRED, IP adresinin AWS’de barındırılan Elastic Compute Cloud (EC2) örneği olarak bilinen sanal bir makineye kadar izini sürdü. AWS altyapısını kullanarak web sitelerini taramanın şirketin hizmet şartlarını ihlal edip etmediğini sormamızın ardından soruşturma başlattı.
Geçtiğimiz hafta Perplexity CEO’su Aravind Srinivas, WIRED’in soruşturmasına ilk olarak şirkete sorduğumuz soruların “Perplexity ve İnternet’in nasıl çalıştığına dair derin ve temel bir yanlış anlaşılmayı yansıttığını” söyleyerek yanıt verdi. Srinivas daha sonra Fast Company’ye, WIRED’in Condé Nast web sitelerini kazırken gözlemlediği gizli IP adresinin ve oluşturduğumuz bir test sitesinin, web tarama ve indeksleme hizmetleri gerçekleştiren üçüncü taraf bir şirket tarafından işletildiğini söyledi. Bir gizlilik anlaşmasını gerekçe göstererek şirketin adını vermeyi reddetti. Üçüncü tarafa WIRED’de gezinmeyi bırakmasını söyleyip söylemeyeceği sorulduğunda Srinivas “karmaşık” yanıtını verdi.