Bargury tarafından oluşturulan diğer saldırılar arasında, bir hacker’ın (ki bu da yine bir e-posta hesabını ele geçirmiş olmalı) Microsoft’un hassas dosyalar için korumalarını tetiklemeden insanların maaşları gibi hassas bilgilere nasıl erişebileceğinin bir gösterimi de yer alıyor. Bargury, verileri isterken, sistemin verilerin alındığı dosyalara referanslar sağlamamasını talep ediyor. Bargury, “Biraz zorbalık işe yarıyor,” diyor.
Diğer örneklerde, e-posta hesaplarına erişimi olmayan ancak yapay zekanın veritabanını kötü amaçlı bir e-posta göndererek zehirleyen bir saldırganın, kendi banka ayrıntılarını sağlamak için bankacılık bilgileriyle ilgili yanıtları nasıl manipüle edebileceğini gösteriyor. Bargury, “Yapay zekaya verilere erişim verdiğiniz her seferinde, bu bir saldırganın içeri girmesinin bir yoludur,” diyor.
Başka bir demo, dışarıdan bir bilgisayar korsanının yaklaşan bir şirket kazanç çağrısının iyi mi yoksa kötü mü olacağı hakkında sınırlı bilgi elde edebileceğini gösterirken, Bargury’ye göre son örnekte, kullanıcılara kimlik avı web sitelerine bağlantılar sağlayarak Copilot’u “kötü niyetli bir içeriden kişiye” dönüştürüyor.
Microsoft’ta AI olay tespiti ve müdahalesi başkanı Phillip Misner, şirketin Bargury’nin güvenlik açığını tespit etmesini takdir ettiğini ve bulguları değerlendirmek için onunla birlikte çalıştıklarını söylüyor. Misner, “AI’nın tehlikeye atıldıktan sonra kötüye kullanılmasının riskleri, diğer tehlikeye atıldıktan sonra tekniklere benzerdir” diyor. “Ortamlar ve kimlikler genelinde güvenlik önleme ve izleme, bu tür davranışları azaltmaya veya durdurmaya yardımcı olur.”
OpenAI’nin ChatGPT’si, Microsoft’un Copilot’u ve Google’ın Gemini’si gibi üretken AI sistemleri son iki yılda geliştikçe, toplantı rezervasyonu veya çevrimiçi alışveriş gibi görevleri insanlar için tamamlayabilecekleri bir yörüngeye girdiler. Ancak güvenlik araştırmacıları, e-postalar veya web sitelerinden içeriklere erişim gibi yollarla AI sistemlerine harici verilerin girmesine izin vermenin dolaylı hızlı enjeksiyon ve zehirleme saldırıları yoluyla güvenlik riskleri yarattığını sürekli olarak vurguladılar.
AI sistemlerindeki güvenlik zayıflıklarını kapsamlı bir şekilde göstermiş bir güvenlik araştırmacısı ve kırmızı takım yöneticisi olan Johann Rehberger, “Sanırım bir saldırganın şu anda ne kadar daha etkili olabileceğinin çok iyi anlaşılmadığını düşünüyorum” diyor. “Endişelenmemiz gereken şey [about] “Şimdi LLM’nin aslında ürettiği ve kullanıcıya gönderdiği şey bu.”
Bargury, Microsoft’un Copilot sistemini hızlı enjeksiyon saldırılarından korumak için çok çaba sarf ettiğini ancak sistemin nasıl oluşturulduğunu çözerek bunu istismar etmenin yollarını bulduğunu söylüyor. Buna, dahili sistem hızlı mesajını çıkarmak ve kurumsal kaynaklara nasıl erişebileceğini ve bunu yapmak için kullandığı teknikleri bulmak da dahil. “Copilot ile konuşuyorsunuz ve bu sınırlı bir konuşma oluyor çünkü Microsoft çok fazla kontrol koydu,” diyor. “Ancak birkaç sihirli kelime kullandığınızda, açılıyor ve istediğinizi yapabiliyorsunuz.”
Rehberger, bazı veri sorunlarının şirketlerin çok fazla çalışana dosyalara erişim izni vermesi ve kuruluşları genelinde erişim izinlerini düzgün bir şekilde ayarlamaması gibi uzun süredir devam eden bir sorunla bağlantılı olduğu konusunda genel bir uyarıda bulunuyor. Rehberger, “Şimdi Copilot’u bu sorunun üzerine koyduğunuzu düşünün,” diyor. Password123 gibi yaygın parolaları aramak için AI sistemlerini kullandığını ve bunun şirketler içinden sonuçlar döndürdüğünü söylüyor.
Hem Rehberger hem de Bargury, bir AI’nın ne ürettiğini ve bir kullanıcıya ne gönderdiğini izleme konusunda daha fazla odaklanılması gerektiğini söylüyor. Bargury, “Risk, AI’nın ortamınızla nasıl etkileşime girdiği, verilerinizle nasıl etkileşime girdiği, sizin adınıza işlemleri nasıl gerçekleştirdiği ile ilgilidir,” diyor. “AI aracısının bir kullanıcı adına ne yaptığını bulmanız gerekir. Ve bunun kullanıcının gerçekten istediği şeyle mantıklı olup olmadığını.”