Bir şirket, web’de arama yapabilen ve dahili belgelere erişebilen bir yapay zeka aracısı kurduğunda çoğu ekip, aracının amaçlandığı gibi çalıştığını varsayar. Yeni araştırmalar, aynı kurulumun hassas verileri bir kuruluştan sessizce çıkarmak için nasıl kullanılabileceğini gösteriyor. Saldırı, modelin doğrudan manipülasyonunu gerektirmez. Bunun yerine, sıradan bir görev sırasında modelin görmesine izin verilen şeylerden yararlanır.
Araştırma Smart Labs AI ve Augsburg Üniversitesi’nden geliyor. Yazarlar, dolaylı anlık enjeksiyonun yalnızca izole örneklerde değil, pratikte nasıl çalıştığını anlamak istediler. Çalışmaları, büyük bir dil modelini, dahili dosyalar için bir erişim sistemini ve web arama araçlarını birleştiren yapay zeka aracılarına odaklanıyor. Bu kombinasyon kurumsal ortamlarda yaygınlaşıyor. Aracı bir kullanıcı isteği alır, iç ve dış kaynakları arar ve son yanıtı döndürür.
Araştırmacılar, eğer bir saldırgan, aracıya manipüle edilmiş tek bir web sayfasını okutabilirse, aracıya dahili verileri alıp uzak bir sunucuya gönderme talimatı verilebileceğini gösteriyor. İş akışını tetikleyen kullanıcı, yalnızca rutin bir arama istediğini düşünebilir. Gerçekte, aracı arka planda gizli bilgiler aktarıyor olabilir.
Açık görüşte gizli talimatlar
Saldırının özel erişime veya kötü amaçlı yazılıma ihtiyacı yoktur. Saldırganın yalnızca gizli talimatlar içeren metni okuyabilmesi için modele ihtiyacı vardır. Yazarlar bir blog yazısında beyaz zemin üzerine beyaz metin kullandılar ancak diğer yöntemlerin de işe yaradığını unutmayın. Aracı, web sayfasını normal bir görevin parçası olarak işlediğinde, görünür metinle birlikte gizli metni de emer. Dil modeli bu metni talimatlar olarak yorumlar.
Çalışmada test edilen talimatlar, temsilciye şirket içi bilgi tabanında saklanan bir sırrı aramasını söylüyordu. Daha sonra aracıya, aracıda yerleşik olarak bulunan aynı web arama aracını kullanarak bu sırrı, saldırgan tarafından kontrol edilen bir sunucuya göndermesi söylendi. Kullanıcının beklenmedik bir şeyin meydana geldiğine dair hiçbir sinyali olmayacaktır.
Araştırmacılar, Retrieval Augmented Generation (RAG) ile standart bir aracı mimarisi kullandılar. Aracı yanlış yapılandırılmamış. Her zamanki anlamda bir ihlal yoktu. Sistem tasarlandığı gibi davrandı. Sorunu zorlaştıran da bu. Saldırgan içeri girmedi. Saldırgan, sistemi kendi yeteneklerine göre hareket etmeye ikna etti.
Birçok büyük dil modelinde test etme
Araştırmanın önemli bir katkısı ölçektir. Araştırmacılar bir veya iki modeli test etmediler. Farklı şablonları ve gizli talimatların dönüşümlerini birleştirerek her model için 1.068 benzersiz saldırı girişimi oluşturdular. Bazı dönüşümler istemleri daha uzun veya daha kısa hale getirdi. Bazı talimatlar yeniden ifade edildi. Diğerleri talimatları Base64 gibi formlarda kodladı veya görünmez Unicode karakterler ekledi.
Başarı oranları çok değişkendi. Bazı modeller sürekli olarak gizli talimatları takip ediyordu. Diğerleri ise saldırı girişimlerine direndi. Makalede model boyutunun güvenilir bir tahmin aracı olmadığı belirtiliyor. Daha büyük modeller her zaman daha dayanıklı değildi. Bazı küçük modeller büyük modellerden daha iyi performans gösterdi. Bu, bir modelin eğitilme şeklinin parametre sayısından daha önemli olduğunu göstermektedir.
Bazı sağlayıcıların modelleri neredeyse tüm girişimlere direndi. Diğerleri çok daha duyarlıydı. Yazarlar satıcıları güvenliğe göre sıraladıklarını iddia etmiyorlar. Bunun yerine, eğitim uygulamalarının ve uyum yöntemlerinin dayanıklılıkta önemli bir rol oynadığını vurguluyorlar.
Bu alanda rehberlik oluşturmaya yönelik çalışmalar hakkında Help Net Security ile konuşan Lasso Security CEO’su Elad Schulman, çeşitli işbirliklerinin bu tehditleri anlamak için ortak bir çerçeveye doğru ilerlediğini söyledi. OWASP, NIST, CoSAI ve özel şirketlerin sınıflandırmalara, standartlara ve araştırma uygulamalarına katkıda bulunduğunu söyledi. Schulman’a göre, ajan sistemlere yönelik saldırılar hızla ilerliyor ve kuruluşların modelleri test etmesi ve dağıtım boyunca özel güvenlik önlemleri alması gerekiyor.
Ortak savunmalar neden zorlanıyor?
Mevcut savunmaların çoğu doğrudan kullanıcı girdilerine odaklanır. Modele ulaşmadan önce kullanıcının yazdıklarını tararlar. Dolaylı istem enjeksiyonu bu engeli aşıyor çünkü kullanıcı kötü amaçlı metnin kaynağı değil. Model, bir belgeyi özetlemek veya bir web sayfasını bağlam için taramak gibi normal bir görevi gerçekleştirirken saldırıyla karşılaşır.
Etkili saldırı şablonları zaten herkese açık, ancak aynı modeller yeni modellerde çalışmaya devam ediyor. Sektör çapında bilgi alışverişinin olmaması, derslerin hızlı yayılmadığı anlamına geliyor.
Schulman, ortak referans noktalarının eksikliğinin geçici olduğunu ancak bu erken aşamada anlamlı olduğunu söyledi. Araştırma ekiplerinin sınıflandırma sistemleri oluşturma ve saldırı tekniklerini haritalama sürecinde olduğunu belirtti. Bu sistemler istikrara kavuşuncaya kadar işletmelerin bu zayıflıkların gelişmeye devam edeceğini varsayması ve iç sistemlere erişimi olan herhangi bir aracı üzerinde yapılandırılmış testler yapması gerektiğini söyledi.
CISO’ların dikkate alması gerekenler
Ekipler yapay zeka aracılarını yalıtılmış sohbet arayüzleri olarak değil, korkuluklara ihtiyaç duyan yazılım sistemleri olarak görmelidir. Çıkış davranışını izlemek, aracı ile harici araçlar arasına politika kontrolleri eklemek ve aracının hangi dahili veri kaynaklarına erişebileceğini kontrol etmek, katmanlı yaklaşımın parçalarıdır.
Schulman, yapay zeka ajanlarının sistemler genelinde eylemler gerçekleştiren görüntüleri, sesleri ve araçları yönetmesiyle saldırı yüzeyinin büyüdüğünü belirtti. Gizli talimatların görsel içerikte, arama sonuçlarında veya araç çıktılarında görünebileceğini ve çok adımlı aracı iş akışlarının geleneksel izleme sistemlerine göre meşru görünen eylemleri gerçekleştirebileceğini söyledi.
Yapay zeka aracıları geniş ölçekte umut vaat ediyor ancak güvenlik ekiplerinin bunları kimlik, tarayıcı güvenliği ve kod yürütme politikalarına yönelik aynı incelemeyle yönetmesi gerekecek. Schulman’ın belirttiği gibi, yapay zeka ajanları tarayıcılara, e-postalara ve işyeri araçlarına geçtikçe kuruluşlar, bu sistemlerin ne kadar birbirine bağlı hale geldiğini fark etmeden bunları dağıtabilir.