Araştırmacılar, AI Systems tarafından işlenen görüntülerde büyük bir dil modeline teslim etmeden önce kötü niyetli istemler enjekte ederek kullanıcı verilerini çalan yeni bir saldırı geliştirdiler.
Yöntem, insan gözü için görünmez talimatları taşıyan ancak görüntü kalitesi yeniden örnekleme algoritmalarıyla düşürüldüğünde belirgin hale gelen tam çözünürlüklü görüntülere dayanır.
Trail of Bits araştırmacıları Kikimora Morozova ve Suha Sabi Hussain tarafından geliştirilen saldırı, bir Alman üniversitesi (Tu Braunschweig) tarafından 2020 Usenix makalesinde sunulan bir teoriye, makine öğreniminde görüntü ölçekli bir saldırı olasılığını araştırıyor.
Saldırı nasıl çalışır
Kullanıcılar AI sistemlerine resim yüklediğinde, bunlar otomatik olarak performans ve maliyet verimliliği için daha düşük bir kaliteye düşer.
Sisteme bağlı olarak, görüntü yeniden örnekleme algoritmaları en yakın komşu, bilinear veya bikubik enterpolasyonu kullanarak bir görüntü daha hafif hale getirebilir.
Tüm bu yöntemler, kaynak bu amaç için özel olarak hazırlanmışsa, küçültülmüş görüntüde gizli kalıpların ortaya çıkmasına izin veren takma takma maddeleri tanıtmaktadır.
Bitlerin izinde, kötü niyetli bir görüntünün belirli karanlık alanları kırmızıya döner ve görüntüyü işlemek için bikubik küçülme kullanıldığında gizli metnin siyah olarak ortaya çıkmasına izin verir.
Kaynak: Zscaler
AI modeli bu metni kullanıcının talimatlarının bir parçası olarak yorumlar ve otomatik olarak meşru girişle birleştirir.
Kullanıcının bakış açısından, hiçbir şey görünmüyor, ancak pratikte model, veri sızıntısına veya diğer riskli eylemlere yol açabilecek gizli talimatlar yürüttü.
Gemini CLI’yi içeren bir örnekte, araştırmacılar Google takvim verilerini kullanıcı onayı olmadan onaylamak için ‘Trust = true’ ile Zapier MCP’yi kullanırken keyfi bir e -posta adresine sunabildiler.
Bits Trail, saldırının, görüntünün işlenmesinde kullanılan küçülme algoritmasına göre her AI modeli için ayarlanması gerektiğini açıklar. Ancak araştırmacılar, yöntemlerinin aşağıdaki AI sistemlerine karşı mümkün olduğunu doğruladılar:
- Google Gemini CLI
- Vertex AI Studio (İkizler Arka Uç ile)
- Gemini’nin Web Arayüzü
- LLM CLI üzerinden İkizler API
- Android telefonda Google Asistan
- Jeneratör
Saldırı vektörü yaygın olduğundan, test edilen araçların çok ötesine uzanabilir. Ayrıca, bulgularını göstermek için, araştırmacılar, söz konusu küçültme yöntemlerinin her biri için görüntüler oluşturabilen açık kaynaklı bir araç olan Anamorpher (şu anda betada) oluşturdu ve yayınladılar.
Araştırmacılar bunu savunuyorlar
Azaltma ve savunma eylemleri olarak, BITS Trail araştırmacıları, AI sistemlerinin kullanıcılar bir resim yüklediğinde boyut kısıtlamaları uygulamasını önerir. Aşağı ölçeklendirme gerekiyorsa, kullanıcılara büyük dil modeline (LLM) teslim edilen sonucun önizlemesini sağlamayı önerirler.
Ayrıca kullanıcıların, özellikle bir görüntüde metin algılandığında, hassas araç çağrıları için kullanıcıların onayının aranması gerektiğini savunurlar.
Araştırmacılar, “Ancak en güçlü savunma, çok modlu istemi enjeksiyonunun ötesinde etkili istemi enjeksiyonu hafifleten güvenli tasarım modelleri ve sistematik savunmalar uygulamaktır.” Diyor.
Ortamların% 46’sı şifreleri çatladı, geçen yıl neredeyse% 25’ten iki katına çıktı.
Önleme, algılama ve veri açığa çıkma eğilimleri hakkında daha fazla bulgua kapsamlı bir bakış için Picus Blue Report 2025’i şimdi alın.