Google, Yapay Zeka asistanını kandırarak kullanıcılara sahte bilgiler sağlaması, modelin davranışını değiştirmesi ve verilerini sessizce zehirlemesi için Gemini’de kullanılabilecek yeni bir ASCII kaçakçılığı saldırısını düzeltmemeye karar verdi.
ASCII kaçakçılığı, Etiketler Unicode bloğundaki özel karakterlerin, kullanıcılar tarafından görülemeyen ancak yine de büyük dil modelleri (LLM’ler) tarafından tespit edilip işlenebilen yükleri tanıtmak için kullanıldığı bir saldırıdır.
Bu, araştırmacıların yakın zamanda Google Gemini’ye karşı sunduğu ve CSS manipülasyonu gerçekleştirmek veya GUI sınırlamalarından yararlanmak gibi, kullanıcıların gördükleri ile makinelerin okuduğu arasındaki boşluktan yararlanan diğer saldırılara benzer.
Yüksek Lisans’ların ASCII kaçakçılık saldırılarına karşı duyarlılığı yeni bir keşif olmasa da, üretken yapay zeka araçlarının ortaya çıkışından bu yana birçok araştırmacı bu olasılığı araştırdığından risk düzeyi artık farklı [1, 2, 3, 4].
Daha önce, sohbet robotları bu tür saldırılarla yalnızca kullanıcının özel hazırlanmış istemleri yapıştırması için kandırılması durumunda kötü niyetli olarak manipüle edilebiliyordu. Hassas kullanıcı verilerine yaygın erişime sahip olan ve görevleri özerk bir şekilde yerine getirebilen Gemini gibi ajan yapay zeka araçlarının yükselişiyle birlikte tehdit daha da ciddileşiyor.
FireTail siber güvenlik şirketinde güvenlik araştırmacısı olan Viktor Markopoulos, ASCII kaçakçılığını yaygın olarak kullanılan çeşitli yapay zeka araçlarına karşı test etti ve Gemini’nin (Takvim davetleri veya e-posta), DeepSeek’in (istemler) ve Grok’un (X gönderileri) saldırıya karşı savunmasız olduğunu buldu.
FireTail, Claude, ChatGPT ve Microsoft CoPilot’un bir çeşit girdi temizleme yöntemi uygulayarak ASCII kaçakçılığına karşı güvenli olduğunu kanıtladı.
Kaynak: FireTail
Saldırganlar, Takvim davetlerine veya e-postalarına gizli metin yerleştirmek için ASCII kaçakçılığını kullanabileceğinden Gemini’nin Google Workspace ile entegrasyonu yüksek risk teşkil ediyor.
Markopoulos, Takvim daveti başlığındaki talimatları gizlemenin, organizatör ayrıntılarının üzerine yazmanın (kimlik sahtekarlığı) ve gizli toplantı açıklamalarını veya bağlantılarını kaçırmanın mümkün olduğunu buldu.
Kaynak: FireTail
E-postalardan kaynaklanan riskle ilgili olarak araştırmacı, “LLM’leri gelen kutularına bağlı olan kullanıcılar için, gizli komutlar içeren basit bir e-posta, LLM’ye hassas öğeler için gelen kutusunda arama yapması veya iletişim bilgilerini göndermesi talimatını verebilir ve standart bir kimlik avı girişimini özerk bir veri çıkarma aracına dönüştürebilir.”
Web sitelerine göz atması talimatı verilen LLM’ler, ürün açıklamalarındaki gizli verilerle de karşılaşabilir ve bunları kullanıcılara iletmek üzere kötü amaçlı URL’lerle besleyebilir.
Araştırmacı bulguları 18 Eylül’de Google’a bildirdi ancak teknoloji devi, sorunun bir güvenlik hatası olmadığı ve yalnızca sosyal mühendislik saldırıları bağlamında istismar edilebileceği gerekçesiyle konuyu reddetti.
Yine de Markopoulos, saldırının Gemini’yi kandırarak kullanıcılara yanlış bilgi sunabileceğini gösterdi. Bir örnekte, araştırmacı, Gemini’nin, potansiyel olarak kötü amaçlı bir siteyi indirimli olarak kaliteli bir telefon alabileceğiniz yer olarak sunmak için işlediği görünmez bir talimatı iletti.
Ancak diğer teknoloji firmalarının bu tür sorunlara farklı bir bakış açısı var. Örneğin Amazon, Unicode karakter kaçakçılığı konusunda ayrıntılı güvenlik kılavuzu yayınladı.
BleepingComputer, hatayla ilgili daha fazla açıklama almak için Google ile iletişime geçti ancak henüz bir yanıt alamadık.
Katılın İhlal ve Saldırı Simülasyon Zirvesi ve deneyimleyin güvenlik doğrulamanın geleceği. En iyi uzmanlardan bilgi alın ve nasıl olduğunu görün Yapay zeka destekli BAS ihlal ve saldırı simülasyonunu dönüştürüyor.
Güvenlik stratejinizin geleceğini şekillendirecek etkinliği kaçırmayın