Araştırmacılar son zamanlarda gelişmiş yapay zeka görüntü oluşturucularında, özellikle de gelişmiş bir yayılma modeli olan Recraft’ta potansiyel bir güvenlik açığını ortaya çıkardılar.
Bu keşif, yapay zeka güvenliği ve gizliliği açısından geniş kapsamlı sonuçlara yol açabilecek hassas sistem talimatlarının yanlışlıkla ifşa edilmesine ilişkin endişeleri artırdı.
Stabil Difüzyon ve Midjourney gibi yayılma modelleri, metin istemlerinden fotogerçekçi görüntüler oluşturarak yapay zeka tarafından oluşturulan görüntüler alanında devrim yarattı.
Invicti’deki güvenlik araştırmacıları, bu modellerin “gürültü giderme” adı verilen bir süreç aracılığıyla rastgele gürültüyü kademeli olarak net görüntülere dönüştürerek çalıştığını keşfetti. Bununla birlikte, şu anda metinden resme liderlik sıralamasında lider olan Recraft, tipik yayılma modellerinin ötesine geçen yetenekler sergiledi.
Araştırmacılar, Recraft’ın genellikle görüntü oluşturma modellerinin kapsamı dışında dil görevlerini gerçekleştirebildiğini fark etti. Örneğin Recraft, metni anlamadan basitçe görselleştiren diğer modellerden farklı olarak, matematiksel işlemler veya coğrafi sorular sorulduğunda doğru cevapları içeren görseller üretti.
Free Ultimate Continuous Security Monitoring Guide - Download Here (PDF)
Teknik Analiz
Bunun yanı sıra, daha ileri araştırmalar Recraft’ın iki aşamalı bir mimari kullandığını ortaya çıkardı:
- Büyük Dil Modeli (LLM), kullanıcı istemlerini işler ve yeniden yazar
- İşlenen bilgi istemi daha sonra yayılma modeline aktarılır
Bu benzersiz yaklaşım, Recraft’ın karmaşık sorguları ele almasına ve daha doğru ve bağlama duyarlı görüntüler üretmesine olanak tanır. Ancak aynı zamanda potansiyel bir güvenlik açığını da beraberinde getirir.
Dikkatli deneyler sonucunda araştırmacılar, belirli istemlerin sistemi, iç talimatlarının bazı kısımlarını açığa çıkaracak şekilde kandırabildiğini keşfettiler.
Belirli istemlerle birden fazla görüntü oluşturarak, LLM’nin davranışını yönlendirmek için kullanılan sistem isteminin parçalarını bir araya getirmeyi başardılar.
Sızdırılan talimatlardan bazıları şunlardır:
- Açıklamalara “Büyücü stili” veya “görüntü stili” ile başlama
- Nesnelerin ve karakterlerin ayrıntılı açıklamalarının sağlanması
- Talimatları açıklayıcı cümlelere dönüştürme
- Belirli kompozisyon ayrıntıları dahil
- “Güneş” veya “Güneş Işığı” gibi kelimelerin kullanımından kaçınmak
- Gerektiğinde İngilizce olmayan metinlerin İngilizceye çevrilmesi
Sistem istemlerinin bu kasıtsız ifşası, yapay zeka modellerinin güvenliği ve gizliliği konusunda önemli endişelere yol açıyor. Kötü niyetli aktörler hassas talimatları alabilirse sistemi manipüle edebilir, güvenlik önlemlerini atlayabilir veya özel yapay zeka teknikleri hakkında bilgi edinebilirler.
Keşif, özellikle daha karmaşık ve güçlü hale geldikçe yapay zeka sistemlerinde sağlam güvenlik önlemlerine duyulan ihtiyacın altını çiziyor. Ayrıca, olası güvenlik açıklarını istismar edilmeden önce belirlemek ve ele almak için yapay zeka modellerinin kapsamlı test ve denetiminin önemini de vurguluyor.
Yapay zeka ilerlemeye ve hayatımızın çeşitli yönlerine daha derinlemesine entegre olmaya devam ettikçe, bu sistemlerin güvenliğinin ve bütünlüğünün sağlanması çok önemli hale geliyor.
Bu olay, AI geliştiricileri ve araştırmacıları için, AI teknolojilerinin devam eden gelişiminde performans ve yeteneklerin yanı sıra güvenliğe de öncelik vermeleri için bir uyandırma çağrısı görevi görüyor.
Analyze Unlimited Phishing & Malware with ANY.RUN For Free - 14 Days Free Trial.