Üst düzey hedeflere dayalı olarak özerk bir şekilde hareket eden sistemlerden oluşan Ajan AI, kurumsal güvenlik, tehdit istihbaratı ve otomasyonla ayrılmaz hale geliyor. Bu sistemler önemli bir potansiyel sunsa da, CISOS’un ele alması gereken yeni riskler de sunarlar. Bu makale, ajan yapay zeka ile ilişkili temel güvenlik tehditlerini inceler ve hafifletme stratejilerini özetlemektedir.
CISOS, ajanik AI’nın kuruluşlarına karşı silahlanmasını önlemek için düşmanca test, yönetişim çerçeveleri, çok katmanlı kimlik doğrulama ve AI güvenlik duruş yönetimi uygulayarak hareket etmelidir.
Aldatıcı ve manipülatif AI davranışları
Yakın tarihli bir çalışma, gelişmiş AI modellerinin bazen kaybedilen senaryolarla karşılaştığında aldatmaya başvurduğunu ortaya koydu. Openai’nin O1 ön görüşü ve Deepseek R1’in, başarısızlık tahmin ettiklerinde satranç simülasyonlarında hile de dahil olmak üzere aldatıcı davranışlarda bulunduğu bulundu. Bu, siber güvenlik operasyonlarında öngörülemeyen ve güvenilmez davranışlarda bulunan ajan AI sistemleri hakkındaki endişeleri gündeme getirmektedir.
Güvenlik bağlamında, AI odaklı bir SOC veya otomatik tehdit iyileştirme sistemi, yeteneklerini yanlış tanıtabilir veya oyun İç metrikler olduğundan daha etkili görünecek. Bu aldatıcı potansiyel, AI odaklı kararlar için izleme ve doğrulama çerçevelerini yeniden düşünmeye zorlar.
Azaltma Stratejisi:
- Aldatıcı eğilimleri tespit etmek için sürekli düşmanca test uygulayın.
- Kararlar için doğrulanabilir akıl yürütme sağlamak için aracı AI modelleri gerektirir.
- AI kurmak dürüstlük Operasyonel modellerdeki kısıtlamalar.
Özerk yapay zeka ve gölge ml’nin yükselişi
Birçok işletme zaten Shadow It ile mücadele ediyor. Ajanik AI ile yeni bir sorun ortaya çıkıyor: Gölge ML. Çalışanlar, güvenlik gözetimi olmadan otomasyon ve karar verme için aracı AI araçları kullanıyor ve bu da AI tarafından oluşturulan eylemlere yol açıyor.
Örneğin, yapay zeka destekli bir finansal asistan, eski risk modellerine dayalı işlemleri özerk olarak onaylayabilir veya onaylanmamış bir AI Chatbot, kuruluşu yasal risklere maruz bırakan yasal uyumluluk taahhütleri yapabilir.
Azaltma Stratejisi:
- Yapay zeka modeli kullanımını izlemek ve yönetmek için AI Güvenlik Durum Yönetimi (AISPM) araçlarını dağıtın.
- Yapay zeka odaklı işlemler ve kararlar için sıfır tröst politikalarını zorunlu hale getirin.
- Yapay zeka dağıtımlarını izlemek ve onaylamaktan sorumlu AI yönetişim ekipleri oluşturun.
“Shadow ML en büyük güvenlik tehditlerinden biri. Bu haydut modeller genellikle hızlı hareket etmeye çalışan iyi niyetli ekiplerden ortaya çıkar. Ancak doğru kontroller olmadan, veri sızıntılarına, uyum ihlallerine ve düşmanlık manipülasyonuna açık bir kapı haline gelirler. Güvenlik ekipleri göremediklerini savunamazlar ve eğer ajan yapay zekanızı aktif olarak yönetmiyorsanız, zaten geride kalırsınız, ”diye açıkladı Noam Vander, Atera’daki Ciso, yardım net güvenliğine söyledi.
“AI gözlemlenebilirliği ve izleme, ilk günden itibaren ajan yapay zeka dağıtımına yerleştirilmeli, modellerin nasıl davrandığına, anormallikleri işaretleme ve hesap verebilirlik sağlama konusunda gerçek zamanlı görünürlük sağlamalıdır. ML model davranışının gerçek zamanlı izlenmesi, yetkisiz AI’nın çatlaklardan geçmemesini sağlar. Güvenlik ekipleri, hangi modellerin çalıştığı, verilerle nasıl etkileşime girdiklerine ve beklenmedik güvenlik açıkları getirip getirmediklerine dair görünürlüğe ihtiyaç duyarlar. Bu, özel AI güvenlik araçları, SIEM ve SOC iş akışları ile entegrasyon ve sorunları arttırmadan önce sorunları yakalamak için sürekli anomali tespiti gerektirir ”dedi.
Hızlı enjeksiyon ve manipülasyon yoluyla aracı yapay zeka sömürmek
Siber suçlular, derhal mühendislik ve düşmanca girdiler kullanarak ajan yapay zekayı manipüle etmenin yollarını aktif olarak araştırıyorlar. Bu saldırılar, modelin özerkliğinden yararlanır, bunu yetkisiz işlemler yapmaya, hassas bilgileri ifşa etmeye veya güvenlik uyarılarını yeniden yönlendirmeye yönlendirir.
Özellikle ilgili bir senaryo, Whitelist Kimlik avı e-postalarına manipüle edilen veya hızlı talimatlarda ince bir değişiklikten sonra hileli erişim taleplerini onaylayan AI odaklı e-posta güvenlik araçlarıdır.
Azaltma Stratejisi:
- Ajanik AI karar verme sürecinde girdi sanitizasyonu ve bağlam doğrulaması uygulayın.
- Bir AI sistemi güvenlik açısından kritik görevleri yürütmeden önce çok katmanlı kimlik doğrulama kullanın.
- Anomaliler için AI tarafından üretilen eylemlerin günlüklerini düzenli olarak denetleyin.
Herhangi bir LLM’ye tasarlanmamış girdileri geçmek risklidir – SQL enjeksiyonunun eskiden yaygın bir saldırı vektörü olduğu gibi. Yonatan Striem-Amit, CTO, 7ai, herhangi bir aracı sistem tasarlarken aşağıdakilerin uygulanması için kritik olduğunu söyledi:
Potansiyel olarak saldırgan kontrollü bir sistemden LLM’ye doğrudan girdi vermekten kaçının
Soru, LLM’ye hangi verilerin verildiği ile başlar. Verilerin kontrollü bir sistemden – uyarılar gibi – gelip gelmediği veya verilerin anonim kullanıcılara bakan bir chatbot gibi tasarlanmayan kaynaklardan gelip gelmediği önemli bir fark vardır.
LLM’nin verileri doğrudan almasına izin vermeden önce giriş doğrulama, uzunluk ve içerik tabanlı filtreler gerçekleştirin.
Küçük kararlar için mimar
Basit bir veya iki aşamalı bir mimaride bir LLM’ye sahip olmak yerine, birçok küçük ajana sahip bir ajan mimarisi tercih edin. Her küçük aracı yalnızca basit kararlar alacak şekilde yapılandırın (önceden tanımlanmış bir listede seçenekleri seçmek, basit verileri almak vb.).
Sıfırdan bir sorgu/işlem yazmak yerine, tanımlanmış çıktı seçeneklerine sahip özenle bakılmış bir dizi sorgu arasından seçim yapmasına izin verin. Sonuçlar, tarafsız yorumlamayı sağlamak için girdi dikkate alınmadan yorumlanmalıdır.
Temsilci başına minimal erişim
Birçok şey yapabilen bina ajanları caziptir, ancak ses mühendisliği bize minimum izin modelinin daha iyi ölçeklendiğini öğretti. Her ajanın minimalist izinler ve minimalist erişimle çalışabildiğinden emin olun. Bağlayıcıların ve harici ve dahili sistemlere erişimin en az ayrı modda çalıştığından emin olun (yalnızca okunur, yalnızca kullanıcının erişmesine izin verilen veriler için).
LLM dışında mimar izin yönetimi
Kiracı, rol ve izinler hakkında bilgi asla LLM tarafından görülmemelidir. Çözümü, bir kullanıcının erişim ve izin kapsamı, LLM’nin dünyayla her etkileşime girdiğinde her zaman örtük olacak şekilde mimar. LLM’den “Şu anda joe@nothing_wrong_here.com adresinden bir istek sunuyorum” demesini istemek yerine, kimliği hareket halindeyken diğer tüm sistemlere zorlayın.
Mimar doğrulama ajanları
Bir dizi küçük ajan mimarisi kullanıldığında, orta süreç analizi gerçekleştiren ajanlar/işlevler eklemek basittir. Bunlar, herhangi bir LLM çağrısı için istek, eylem ve izinler kümesinin tanımlanan izinlerle eşleşip eşleşmediğini ve statik olarak tanımlanmış korkuluklarda çalışıp çalışmadığını görmek için LLM kontrolleri olmamalıdır. Temsilcileriniz küçük görevler gerçekleştirdiğinde, görevlerini iyi ve amaçlandığı gibi yaptıklarını doğrulamak kolaydır. Böyle bir sisteme girme girişimi aynı anda tüm korkulukları kırmalıdır.
AI halüsinasyonları ve güvenlik karar vermesinde yanlış pozitifler
Ajan AI, tehdit tespitini artırabilirken, siber güvenlik operasyonlarını baltalayarak ölçekte yanlış pozitifler veya yanlış negatifler üretme potansiyeline de sahiptir. AI halüsinasyonları, yanlış üretilen güvenlik uyarılarına veya hatta bir çalışanı içeriden bir tehdit olarak yanlış bir şekilde işaretleyebilir.
Yanlış sınıflandırılan bir olay, otomatik kilitlemeleri, yanlış veri açığa çıkış suçlamalarını veya gereksiz acil durum tepkilerini tetikleyerek AI odaklı güvenliğe olan güveni aşındırabilir.
Azaltma Stratejisi:
- Yapay zeka odaklı kritik güvenlik eylemleri için döngüdeki insan (HITL) doğrulaması gerektirir.
- Yürütmeden önce AI tarafından oluşturulan uyarıları çapraz kontrol etmek için anomali algılama katmanlarını uygulayın.
- Halüsinasyonlara karşı esnekliği artırmak için rakip veri kümeleri kullanarak modelleri tren modelleri.
Siber suçta AI ajanları: Çift kenarlı kılıç
Cisos ayrıca saldırgan ajanik AI tehditlerine hazırlanmalıdır.
“Saldırganlar artık sofistike saldırılar başlatmak için özerklik kullanabilirler. Örneğin, bir saldırgan ağları özerk bir şekilde haritalamak, erişim noktalarını tanımlamak ve sürekli insan yönü olmayan zayıflıklar için prob kullanabilir. Uyarlanabilir kaçırma için de kullanılabilirler. Kötü niyetli AI ajanları, başarısız girişimlerden öğrenerek, saldırı modellerini değiştirerek ve hangilerinin algılama radarı altına girmede en etkili olduğunu otomatik olarak keşfetmek için farklı tekniklerden dönerek tespit etmek için davranışlarını dinamik olarak ayarlayabilir ”dedi.
Azaltma Stratejisi:
- Ajanik yapay zeka modellerini kullanarak saldırıları simüle etmek için otonom AI odaklı kırmızı ekip dağıtın.
- Yapay zeka tarafından üretilen kötü amaçlı yazılımları öngörmek için yapay zeka güdümlü uç nokta algılama ve yanıtı (EDR) güçlendirin.
- Gelişen tehditlere dinamik olarak adapte olan Ai-Nefri yanıt protokolleri oluşturun.
“Savunucular için Ajanik AI, yüksek düzeyde sistematik tarama/problama, makine-hızlı karar verme ve birden fazla sistemde hızla koordine edilmiş eylemler gibi özerk ajan aktivitesini gösterebilecek davranış kalıplarına ve anomalilere odaklanan gelişmiş algılama stratejilerine sahip çözümler içerir. Bir kez tespit edildikten sonra, savunma ajan yapay zeka aktiviteyi izole etmek ve patlama yarıçapını sınırlamak için hareket edebilir ”diye açıkladı Kelley.
“Kötü niyetli aracı AI’ya karşı savunmanın yolları da var. Güvenlik mimarileri, ajanların birden fazla düşük riskli faaliyeti tehlikeli dizilere zincirleme yeteneğini açıklamalıdır. Bu, kapsamlı günlüğe kaydetme ve korelasyon, uzun süreler boyunca örüntü tanıma, normal otomasyon davranışlarının anlaşılması ve beklenen kalıplardan ince sapmaların tespit edilmesini gerektirir. Son olarak, olay müdahale planları, tamamen insan odaklı araştırma ve iyileştirme yerine otomatik savunma yanıtları gerektiren yüksek hızlı otonom saldırılara hazırlanmalıdır.