Görüntülerdeki gizli komutlar, AI Chatbots’tan yararlanabilir ve yeni bir görüntü ölçeklendirme saldırısı yoluyla Gemini gibi platformlarda veri hırsızlığına yol açabilir.
AI sistemlerinde yeni keşfedilen bir güvenlik açığı, bilgisayar korsanlarının sıradan görüntülerde komutları gizleyerek özel bilgileri çalmasına izin verebilir. Bu keşif, ortak bir özellikten yararlanarak AI modellerini kandırmanın bir yolunu buldukları Trail of Bits’teki siber güvenlik araştırmacılarından geldi: Image Downscaling. “Görüntü ölçeklendirme saldırısı” olarak adlandırılan bu saldırı.
Görüntülerle ilgili gizli bir sorun
AI modelleri genellikle işlemeden önce büyük görüntülerin boyutunu otomatik olarak azaltır. Güvenlik açığı burada yatıyor. Araştırmacılar, bir insan gözüne normal görünen ancak sadece görüntü AI tarafından küçüldüğünde görünür hale gelen gizli talimatlar içeren yüksek çözünürlüklü görüntüler oluşturmanın bir yolunu buldular. Bu “görünmez” metin, bir tür hızlı enjeksiyon, daha sonra kullanıcının bilgisi olmadan AI tarafından okunabilir ve yürütülebilir.
Araştırmacılar, saldırının Google’ın Gemini CLI, Gemini’nin web arayüzü ve Google Asistan da dahil olmak üzere birçok AI sistemindeki etkinliğini gösterdi. Bir örnekte, kötü niyetli bir görüntünün AI’nın bir kullanıcının Google takvimine erişmesini ve ayrıntıları bir saldırgana e -posta ile nasıl tetikleyebileceğini gösterdiler, hepsi kullanıcıdan herhangi bir onay olmadan.
Geri savaşmak için yeni bir araç
Başkalarının bu yeni tehdidi anlamalarına ve savunmasına yardımcı olmak için araştırma ekibi Anamorpher adlı bir araç yarattı. İsim, belirli bir şekilde bakıldığında çarpık bir görüntünün normal görünmesini sağlayan bir sanat tekniği olan Anamorphosis’ten esinlenmiştir. Araç, güvenlik profesyonellerinin kendi sistemlerini test etmesine izin vererek bu özel görüntüleri oluşturmak için kullanılabilir.
Araştırmacılar, bu tür saldırılara karşı korunmanın birkaç basit ama etkili yolunu önermektedir. Anahtar çözümlerden biri, kullanıcıya AI modelinin gördüğü gibi, özellikle komut satırı ve API araçlarında görüntünün bir önizlemesini göstermektir.
En önemlisi, AI sistemlerinin görüntüler içindeki komutlar tarafından tetiklenen hassas eylemlere otomatik olarak izin vermemesi gerektiğini tavsiye ederler. Bunun yerine, bir kullanıcının herhangi bir veri paylaşılmadan veya bir görev gerçekleştirilmeden önce her zaman net, açık izin vermesi gerekir.