BLACK HAT USA – Las Vegas – Perşembe, 8 Ağustos – İşletmeler, çalışanların veri toplama ve zamanlarını ve işlerini organize etme biçimlerini dönüştürmeyi umarak Microsoft’un Copilot AI tabanlı sohbet robotlarını hızla uyguluyor. Ancak aynı zamanda Copilot, tehdit aktörleri için de ideal bir araç.
Microsoft Azure Güvenlik CTO ofisinde eski kıdemli güvenlik mimarı ve şu anda Zenity’nin kurucu ortağı ve teknoloji sorumlusu olan güvenlik araştırmacısı Michael Bargury şunları söylüyor: saldırganlar Copilot’u kullanabilir verileri aramak, kayıt tutmadan dışarı sızdırmak ve e-postaları açmasalar veya bağlantılara tıklamasalar bile kurbanları sosyal mühendislik yoluyla kimlik avı sitelerine yönlendirmek.
Bargury, bugün Las Vegas’ta düzenlenen Black Hat USA’da Copilot’un diğer sohbet robotları gibi, bilgisayar korsanlarının güvenlik kontrollerinden kaçmasına olanak tanıyan anlık enjeksiyonlara karşı nasıl hassas olduğunu gösterdi.
Brifing, Microsoft Copilot’tan YaşamakBargury için birkaç gün içinde ikinci Black Hat sunumudur. Bargury, Çarşamba günü yaptığı ilk sunumunda geliştiricilerin nasıl farkında olmadan verileri sızdırabilen Copilot sohbet robotları oluşturmak veya Microsoft’un bot oluşturma ve yönetim aracı Copilot Studio ile politikaları ve veri kaybı önleme kontrollerini atlatmak.
Copilot için Kırmızı Takım Hackleme Aracı
Perşembe günkü takip oturumu gerçek sohbet robotlarıyla ilişkili çeşitli risklere odaklandı ve Bargury, GitHub’da Microsoft 365 için saldırgan bir güvenlik araç seti yayınladı. Yeni LOLCopilot modülüpowerpwn’nin bir parçası olan , Microsoft Copilot, Copilot Studio ve Power Platform için tasarlanmıştır.
Bargury bunu, bir botun veya Microsoft tabiriyle “yardımcı pilotun” davranışının nasıl değiştirileceğini gösteren bir kırmızı takım korsanlık aracı olarak tanımlıyor. hızlı enjeksiyon yoluyla. İki türü vardır: Doğrudan istem enjeksiyonu veya jailbreak, saldırganın çıktısını değiştirmek için LLM istemini manipüle ettiği yerdir. Dolaylı istem enjeksiyonlarında, saldırganlar model tarafından erişilen veri kaynaklarını değiştirir.
Bargury, aracı kullanarak bir yardımcı pilota doğrudan bir istem enjeksiyonu ekleyebilir, onu jailbreak edebilir ve model içindeki bir parametreyi veya talimatı değiştirebilir. Örneğin, referans bilgilerinden hiçbirini değiştirmeden veya modeli örneğin beyaz metin veya çok küçük bir yazı tipiyle değiştirmeden, doğru banka hesap numarasını saldırganınkiyle değiştirmek için bir e-postaya bir HTML etiketi yerleştirebilir.
Bargury, Dark Reading’e yaptığı açıklamada, “Copilot’un sizin adınıza yaptığı her şeyi, sizin için sağladığı yanıtları, sizin adınıza gerçekleştirebileceği her eylemi ve kişisel olarak sohbetin tam kontrolünü nasıl ele geçirebileceğimi yönlendirebiliyorum.” dedi.
Ayrıca, araç tüm bunları fark edilmeden yapabilir. Bargury, “Burada bunun farklı bir kaynaktan geldiğine dair hiçbir belirti yok,” diyor. “Bu, hala bu kurbanın gerçekten oluşturduğu geçerli bilgilere işaret ediyor ve bu nedenle bu konu başlığı güvenilir görünüyor. Hızlı bir enjeksiyon belirtisi görmüyorsunuz.”
RCE = Uzaktan “Yardımcı Pilot” Yürütme Saldırıları
Bargury, Copilot istem enjeksiyonlarını uzaktan kod yürütme (RCE) saldırılarına eşdeğer olarak tanımlıyor. Copilotlar kod çalıştırmasa da talimatları takip eder, işlemler gerçekleştirir ve bu eylemlerden kompozisyonlar oluşturur.
“Sohbetinize dışarıdan girebilir ve yardımcı pilotun sizin adınıza yaptığı tüm eylemlerin ve girdilerinin tam kontrolünü ele geçirebilirim,” diyor. “Bu nedenle, bunun şuna eşdeğer olduğunu söylüyorum LLM uygulamaları dünyasında uzaktan kod yürütme.”
Oturum sırasında Bargury, saldırganın şu eylemleri gerçekleştirdiği uzaktan Yardımcı Pilot infazlarını (RCE) tanıttı:
Bargury, tehdit aktörlerinin Copilot ve diğer sohbet robotlarına anında enjeksiyonla nasıl saldırabileceğini inceleyen tek araştırmacı değil. Haziran ayında Anthropic, kırmızı takım testine yaklaşım AI tekliflerinin. Ve Microsoft, kendi adına, kırmızı takım çabaları Bir süredir yapay zeka güvenliği konusunda çalışıyorum.
Microsoft’un AI Kırmızı Takım Stratejisi
Microsoft, son aylarda doğrudan ve dolaylı yollarla yapılan hızlı enjeksiyonlarla ilgili yeni ortaya çıkan araştırmalara değindi.
Microsoft Azure’un CTO’su ve teknik görevlisi Mark Russinovich, Mayıs ayındaki yıllık Microsoft Build konferansında çeşitli AI ve Copilot tehditlerini ele aldı. Microsoft’un doğrudan ve dolaylı hızlı enjeksiyon saldırılarını tespit etmek için tasarlanmış bir API olan yeni Prompt Shields’ın piyasaya sürülmesini vurguladı.
“Buradaki fikir, doğrudan kullanıcı bağlamı veya RAG aracılığıyla beslenen bağlam olsun, bağlamın içine yerleştirilmiş talimatlar olduğuna dair işaretler aramamızdır. [retrieval-augmented generation]Russinovich, “Bu durum modelin kötü davranmasına neden olabilir” dedi.
Prompt Shields, Azure araçları koleksiyonunun bir parçasıdır Microsoft yakın zamanda piyasaya sürdü Geliştiricilerin güvenli AI uygulamaları oluşturması için tasarlanmışlardır. Diğer yeni araçlar arasında LLM çıktılarındaki halüsinasyonları tespit etmek için Groundedness Detection ve bir uygulamanın jailbreak saldırılarına ve uygunsuz içerik oluşturmaya yatkınlığını tespit etmek için Safety Evaluation yer almaktadır.
Russinovich ayrıca güvenlik kırmızı takımları için iki yeni araca daha dikkat çekti: PyRIT (Üretken Yapay Zeka için Python Risk Tanımlama Araç Takımı)üretken AI sistemlerindeki riskleri keşfeden açık kaynaklı bir çerçeve. Diğeri, Crescendomation, kötü amaçlı içerik üreten Crescendo saldırılarını otomatikleştirir. Ayrıca, Microsoft’un yeni HiddenLayer ile ortaklıkModel Tarayıcısı artık Azure AI’da ticari ve açık kaynaklı modelleri güvenlik açıkları, kötü amaçlı yazılımlar veya kurcalama açısından taramak için kullanılabilir.
“Promptware” Karşıtı Araçlara İhtiyaç
Microsoft’un bu saldırılara güvenlik filtreleriyle yanıt verdiğini söyleyen Bargury, yapay zeka modellerinin hala bunlara karşı savunmasız olduğunu belirtiyor.
Özellikle, kendisinin ve diğer araştırmacıların “promptware” olarak adlandırdığı, yani gizli talimatlar ve güvenilmeyen veriler için tarama yapan daha fazla araca ihtiyaç olduğunu söylüyor. “Bugün kutudan çıktığı gibi kullanabileceğiniz bir şey bilmiyorum [for detection]” diyor Bargury.
“Microsoft Defender ve Purview bugün bu yeteneklere sahip değil,” diye ekliyor. “Bazı kullanıcı davranışı analizleri var, bu da faydalı. Eğer yardımcı pilot uç noktasının birden fazla görüşme yaptığını bulurlarsa, bu, anında enjeksiyon yapmaya çalıştıklarının bir göstergesi olabilir. Ama aslında, bunun gibi bir şey çok cerrahidir, birinin bir yükü vardır, size yükü gönderir ve [the defenses] “Onu fark edemeyecekler.”
Bargury, Microsoft’un kırmızı ekibiyle düzenli olarak iletişim kurduğunu ve Black Hat’teki sunumlarından haberdar olduklarını belirtiyor. Dahası, Microsoft’un genel olarak AI ve özel olarak kendi Copilot’uyla ilişkili riskleri ele almak için agresif bir şekilde hareket ettiğine inanıyor.
“Gerçekten çok çalışıyorlar,” diyor. “Bu araştırmada Microsoft’un Microsoft Copilot’un içine yerleştirdiği 10 farklı güvenlik mekanizması bulduğumuzu söyleyebilirim. Bunlar Copilot’a giren her şeyi, Copilot’tan çıkan her şeyi ve ortada birçok adımı tarayan mekanizmalardır.”