UpGuard tarafından bulunan 400 açık AI sisteminin tümünün ortak bir yanı vardır: Lama.cpp adlı açık kaynak AI çerçevesini kullanırlar. Bu yazılım, kullanıcıların açık kaynaklı AI modellerini kendi sistemlerine veya sunucularına nispeten kolayca dağıtmalarını sağlar. Ancak, düzgün bir şekilde ayarlanmazsa, yanlışlıkla gönderilen istemleri ortaya çıkarabilir. Her boyuttaki şirketler ve kuruluşlar AI kullandıkça, kullanılan sistemleri ve altyapıyı düzgün bir şekilde yapılandırmak, sızıntıları önlemek için çok önemlidir.
Son üç yılda üretken AI’da hızlı iyileştirmeler, AI yoldaşları ve sistemlerinde daha “insan” görünen bir patlamaya yol açtı. Örneğin Meta, insanların WhatsApp, Instagram ve Messenger’da sohbet edebilecekleri AI karakterlerini denedi. Genel olarak, refakatçi web siteleri ve uygulamaları, insanların AI karakterleriyle serbest akışlı görüşmeler yapmalarına olanak tanır-karakterleri özelleştirilebilir kişiliklerle veya ünlüler gibi kamuya açık figürler olarak.
İnsanlar AI ile yaptığı konuşmalardan dostluk ve destek buldular ve hepsi romantik veya cinsel senaryoları teşvik etmiyorlar. Belki de şaşırtıcı olmayan bir şekilde, insanlar AI karakterlerine aşık oldular ve son yıllarda düzinelerce AI kız arkadaşı ve erkek arkadaş hizmeti ortaya çıktı.
Washington Üniversitesi Hukuk Fakültesi ve Cordell Enstitüsü bağlı kuruluşunda doktora sonrası araştırma görevlisi Claire Boine, yetişkinler ve ergenler de dahil olmak üzere milyonlarca insanın genel AI refakatçileri kullandığını söylüyor. “Birçok insanın sohbet botları ile duygusal bağ geliştirdiğini biliyoruz” diyor. “Örneğin AI yoldaşlarıyla duygusal olarak bağlanmış insanlar, kişisel veya samimi bilgileri ifşa etme olasılıklarını daha yüksek hale getiriyorlar.”
Bununla birlikte, Boine, kurumsal bir varlık tarafından oluşturulan bir AI’ya duygusal olarak bağlı olmanın genellikle bir güç dengesizliği olduğunu söylüyor. Boine, “Bazen insanlar bu tür bir ilişkiyi geliştirmek için ilk etapta bu sohbetlerle etkileşime geçiyor” diyor. “Ama sonra onu geliştirdikten sonra, bunu gerçekten kolayca devre dışı bırakamıyorlar.”
AI refakatçi endüstrisi büyüdükçe, bu hizmetlerin bazılarında içerik denetimi ve diğer kontrollerden yoksundur. Google tarafından desteklenen karakter AI, Florida’dan bir gencin sohbet botlarından birine takıntılı olduğu iddia edildikten sonra intihar tarafından öldükten sonra dava ediliyor. (Karakter AI zaman içinde güvenlik araçlarını artırdı.) Ayrı olarak, şirket kişiliklerinde değişiklik yaptığında üretken AI aracı Replika kullanıcıları yükseltildi.
Bireysel yoldaşların yanı sıra, kullanıcıyı bir senaryoda bir karakter olarak yerleştiren binlerce kişiyle konuşabileceği binlerce kişiyle-rol yapma ve fantezi arkadaş hizmetleri de var. Bunlardan bazıları son derece cinselleştirilebilir ve NSFW sohbetleri sağlayabilir. Bazıları genç görünen anime karakterlerini kullanabilirler, bazı siteler “sansürsüz” konuşmalara izin verdiklerini iddia eder.
EndTab’ın kurucusu Adam Dodge, “Bu şeyleri test ediyoruz ve bu platformların hiçbir düzenleme veya sınırlama ile söylemesine ve yapmasına izin verildiğinden çok şaşırmaya devam ediyoruz” diyor. “Bu henüz insanların radarında bile uzaktan değil.” Dodge, bu teknolojilerin yeni bir çevrimiçi pornografi çağını açtığını ve bu da teknoloji olgunlaşmaya ve gelişmeye devam ettikçe yeni toplumsal sorunlar getirebileceğini söylüyor. “Pasif kullanıcılar artık dijital organlar ve kadın ve kızların benzerlikleri üzerinde benzeri görülmemiş bir kontrole sahip aktif katılımcılardır” diyor.