Microsoft, kurumsal ortamlarda büyük dil modeli (LLM) uygulamalarıyla karşılaşan en önemli güvenlik tehditlerinden biri olan dolaylı hızlı enjeksiyon saldırılarıyla mücadele etmek için kapsamlı bir savunma stratejisi sundu.
Şirketin çok katmanlı yaklaşımı, kötü niyetli talimatları LLM’lerin sürecine sahip dış veri kaynaklarına yerleştiren saldırganlara karşı koruma sağlamak için önleyici teknikleri, tespit araçlarını ve etki azaltma stratejilerini birleştirir.
Key Takeaways
1. Microsoft uses advanced tools and strict controls to stop prompt injection in AI.
2. User consent and strong data policies help prevent data leaks.
3. Ongoing research keeps Microsoft ahead in AI security.
Çok katmanlı önleme ve algılama çerçevesi
Microsoft’un savunma stratejisi, üç temel koruma mekanizması kategorisine odaklanmaktadır.
Şirket, sertleştirilmiş sistem istemleri uyguladı ve LLMS’nin meşru kullanıcı talimatları ve potansiyel olarak kötü niyetli harici içerik arasında ayrım yapmasına yardımcı olan Spotlighting adlı yenilikçi bir teknik geliştirdi.
Spot aydınlatma üç farklı modda çalışır: sınırlama (< {{text}} >>), DataMarking (kelimeler arasında ˆ gibi özel karakterler ekleme) ve kodlama (güvensiz metni Base64 veya ROT13 gibi algoritmaları kullanarak dönüştürme).
Algılama özellikleri için Microsoft, harici içerikten hızlı enjeksiyon saldırılarını birden çok dilde tanımlayan olasılıklı bir sınıflandırıcı tabanlı sistem olan Microsoft Prompt Shields’ı dağıttı.
Bu algılama aracı, AI iş yükleri için tehdit korumasının bir parçası olarak Cloud için Defender ile sorunsuz bir şekilde entegre olur ve güvenlik ekiplerinin Defender XDR portalı aracılığıyla AI ile ilgili güvenlik olaylarını izlemesini ve ilişkilendirmesini sağlar.
Sistem, organizasyonel altyapı boyunca LLM tabanlı uygulamaları hedefleyen potansiyel saldırılara kurumsal olarak görünürlük sağlar.
Microsoft’un araştırma girişimleri, metin girişlerini ve çıktılarını incelemek yerine çıkarım sırasında dahili LLM durumlarını (aktivasyonlar) analiz eden yeni bir algılama tekniği olan TaskTracker’ın geliştirilmesi yer alıyor.
Şirket ayrıca, 800’den fazla katılımcıyı çeken ve daha fazla araştırma için 370.000’den fazla istemden oluşan bir veri kümesi oluşturan LLMail enjekte adlı ilk kamu uyarlanabilir istemi enjeksiyon mücadelesini gerçekleştirdi.
Hafifletme
Potansiyel güvenlik etkilerini azaltmak için Microsoft, HTML görüntü enjeksiyonu ve kötü amaçlı bağlantı üretimi dahil olmak üzere bilinen veri pessiltrasyon yöntemlerine karşı deterministik bloke edici mekanizmalar kullanır.
Şirket, Microsoft 365 Copilot’un duyarlılık etiketleri ve Microsoft PurView Veri Kaybı Koruma Politikaları ile entegrasyonu ile örneklenen ince taneli veri yönetişim kontrolleri uygular.
Ek olarak, Outlook’un “Copilot ile Taslak” özelliği için Copilot’ta gösterildiği gibi, döngüdeki insan (HITL) kalıpları potansiyel olarak riskli eylemler için açık kullanıcı onayı gerektirir.
Bu kapsamlı yaklaşım, dolaylı istemi enjeksiyonunun, modern LLM’lerin olasılıksal doğasından ve dilsel esnekliğinden kaynaklanan doğal bir riski temsil ettiği ve Microsoft’u AI güvenlik yeniliğinin ön saflarında konumlandıran temel zorluğu ele almaktadır.
Integrate ANY.RUN TI Lookup with your SIEM or SOAR To Analyses Advanced Threats -> Try 50 Free Trial Searches