Fowler, CSAM’ın yanı sıra, veritabanındaki yetişkinlerin AI tarafından üretilen pornografik görüntüleri ve potansiyel “yüz-aşma” görüntüleri olduğunu söylüyor. Dosyalar arasında, muhtemelen “açık çıplak veya cinsel AI tarafından üretilen görüntüler” yaratmak için kullanılan gerçek insanların fotoğrafları gibi göründüğünü gözlemledi. “Bu yüzden insanların gerçek fotoğraflarını çekiyorlardı ve yüzlerini orada değiştiriyorlardı” diyor.
Canlı olduğunda, Gennomis web sitesi açık AI yetişkin görüntülerine izin verdi. Ana sayfasında yer alan görüntülerin birçoğu ve AI “modelleri” bölümü kadınların cinselleştirilmiş görüntülerini içeriyordu-bazıları “fotogeralist” iken, diğerleri tamamen AI tarafından üretilmiş veya animasyonlu stillerde. Ayrıca kullanıcıların görüntüleri paylaşabileceği ve potansiyel olarak AI tarafından oluşturulan fotoğrafların albümlerini satabilecekleri bir “NSFW” galerisi ve “Marketplace” i de içeriyordu. Web sitesinin sloganı, insanların “sınırsız görüntüler ve videolar üretebileceğini” söyledi; 2024’teki sitenin önceki bir sürümü “sansürsüz görüntüler” oluşturulabileceğini söyledi.
Gennomis’in kullanıcı politikaları, “açık şiddet” ve nefret söyleminin yasak olduğunu söyleyerek yalnızca “saygılı içeriğin” izin verildiğini belirtti. Topluluk yönergeleri, “Çocuk pornografisi ve diğer yasadışı faaliyetlerin Gennomis üzerinde kesinlikle yasaktır” diye okudu ve yasaklanmış içerik yayınlayan hesapların feshedileceğini söyledi. (Araştırmacılar, kurbanlar savunucuları, gazeteciler, teknoloji şirketleri ve daha fazlası, son on yılda CSAM lehine “çocuk pornografisi” ifadesini büyük ölçüde aşamalı olarak kaldırmıştır).
Gennomisin, AI tarafından üretilen CSAM’ın oluşturulmasını önlemek veya yasaklamak için herhangi bir ılımlılık aracı veya sistem kullandığı belirsizdir. Bazı kullanıcılar geçen yıl “Topluluk” sayfasına, seks yapan kişilerin görüntülerini üretemediklerini ve istemlerinin cinsel olmayan “karanlık mizah” için engellendiğini söyledi. Topluluk sayfasında “NSFW” içeriğinin “Fedler tarafından bakılabileceği” için ele alınması gerektiği başka bir hesap.
Fowler, “Bu görüntüleri URL’den başka bir şey olmadan görebilseydim, bana bu içeriği engellemek için gerekli tüm adımları atmadıklarını gösteriyor” diyor.
Derin birleşme uzmanı ve danışmanlık gizli uzay danışmanlığının kurucusu Henry Ajder, şirket tarafından zararlı ve yasadışı içerik oluşturulmasına izin verilmese bile, web sitesinin markası – “sınırsız” görüntü oluşturma ve “NSFW” bölümü – “güvenlik ölçümleri olmadan en iyi içerikle net bir ilişki” olabileceğini belirtiyor.
Ajder, İngilizce dili web sitesinin bir Güney Koreli kuruluşla bağlantılı olduğuna şaşırdığını söyledi. Geçen yıl ülke, kızları hedefleyen, derin asma kötüye kullanımı dalgasıyla mücadele etmek için önlemler almadan önce, kızları hedefleyen rıza dışı bir “acil durum” tarafından rahatsız edildi. Ajder, ekosistemin yapay zeka kullanılarak rıza dışı görüntülerin oluşturulmasına izin veren tüm bölümlerine daha fazla baskı yapılması gerektiğini söylüyor. “Bunu ne kadar çok görürsek, soruyu yasa koyuculara, teknoloji platformlarına, web barındırma şirketlerine daha fazla zorlar.
Fowler, veritabanının AI istemleri içerdiği görünen dosyaları da ortaya koyduğunu söylüyor. Araştırmacı, girişler veya kullanıcı adları gibi hiçbir kullanıcı verisinin maruz kalan verilere dahil edilmediğini söylüyor. İstemlerin ekran görüntüleri, “küçük”, “kız” gibi kelimelerin kullanımını ve aile üyeleri arasındaki cinsel eylemlere atıfta bulunmayı gösterir. İstemler ayrıca ünlüler arasında cinsel eylemler içeriyordu.
Fowler, “Bana öyle geliyor ki, teknoloji yönergelerin veya kontrollerden herhangi birinin önünde yarıştı” diyor. “Yasal bir bakış açısından, hepimiz çocuğun açık görüntülerinin yasadışı olduğunu biliyoruz, ancak bu teknolojinin bu görüntüleri üretebilmesini engellemedi.”
Üretken AI sistemleri, son iki yılda görüntüler oluşturmanın ve değiştirmenin ne kadar kolay olduğunu büyük ölçüde arttırdığından, AI tarafından üretilen CSAM patlaması olmuştur. “AI tarafından üretilen çocuk cinsel istismarı materyali içeren web sayfaları 2023’ten beri dört katına çıktı ve bu korkunç içeriğin fotogeralizmi de sofistike bir şekilde sıçradı, diyor Internet Watch Foundation’ın (IWF) geçici CEO’su Derek Ray-Hill, İngiltere merkezli bir kar amacı gütmeyen CSAM ile uğraşan Derek Ray-Hill.
IWF, suçluların giderek daha fazla AI tarafından üretilen CSAM yarattıklarını ve onu yaratmak için kullandıkları yöntemleri nasıl geliştirdiğini belgeledi. Ray-Hill, “Şu anda suçluların, çocukların cinsel olarak açık içeriğini ölçekte ve hızda üretmek ve dağıtmak için AI kullanmaları çok kolay” diyor.