Ajanik AI, AI odaklı güvenlik operasyonları, yapay zeka ve makine öğrenimi
Opak karar verme, korkuluk eksikliği, zayıf denetlenebilirlik risklerdir
Rashmi Ramesh (Rashmiramesh_) •
13 Haziran 2025
Yanmış SOC analistlerini özerk AI ajanlarıyla değiştirme hayali, kalıcı olduğu kadar erkendir.
Ayrıca bakınız: Kavram kanıtı: AI ajanlarının yaşı için kimliği yeniden düşünmek
Ajan yapay zeka, daha çok özerk iş arkadaşları gibi davranmak için geleneksel otomasyonun ötesine geçerek, bir dizi görevde bağımsız olarak akıl yürütebilen, karar verebilecek ve hareket edebilen bir sistem sınıfıdır. Siber güvenlik liderleri, bu tür araçları güvenlik operasyon merkezlerinin içine dağıtmanın, tuvalete kaydırmaktan daha az şey yapabileceğini buluyorlar.
Forrester’ın baş analisti Allie Mellen, “Ajan AI, özellikle, hala geliştiriliyor ve güvenlik yerine herhangi bir alanda ilk zaman için hazır değil.” Dedi. “AI ajanı bir uyarı hakkında yanlış bir karar veriyorsa, kaçırılmış bir saldırıya yol açacaktır. AI ajanından ne kadar yanlış çıktılar, analistte daha fazla zihinsel yük – temelde sadece triyaj ve yanıt için yanlış pozitif bir versiyon haline gelecektir.”
İş yükünü azaltmak yerine, bazı maddelik AI uygulamaları şeklini triyajdan yakın izlemeye kadar değiştirmiştir. Deepwatch Ciso Chad Cragle, “Bu bir vardiya değil, bir düşüş değil,” dedi. “Güvenlik ekipleri hala ajanın verdiği her kararı doğrulamak zorundalar. İnsanı ortadan kaldırmıyorsunuz, sadece analist ve görev arasında bir soyutlama katmanı ekliyorsunuz.”
Bu soyutlama katmanı yeni riskler getirir. Birçok aracı sistemi destekleyen büyük dil modelleri, yanlış olduklarında bile yetkili olan yanıtları üretmeye başlar.
Ajan tabanlı güvenlik başlangıç Lasso’nun kurucu ortağı Ophir Dror, “LLM’ler, eğitim verilerindeki kalıplara dayanarak, gerçek kontrolü değil, neyin doğru seslerini tahmin etmek için eğitildi.” Dedi. Yetkili, altta yatan veriler belirsiz veya çelişkili olsa bile akla yatkın yanıtlar üreteceklerini de sözlerine ekledi.
Yakın tarihli bir GitHub Copilot çalışmasında, AI tarafından desteklenen yazılım kütüphanelerinin yaklaşık% 20’si mevcut değildi – model tarafından halüsinasyona uğradılar. Siber güvenlik ortamlarında Dror, benzer halüsinasyonların kaçırılan tespitlere, geçersiz uzlaşma göstergesine veya yanlış iyileştirme adımlarına neden olabileceğini söyledi. Tutarlı halüsinasyonlar algılama boru hattında kör noktalar oluşturabilir.
Dror, birçok kuruluşun hafızasını, özerkliğini veya erişim sınırlarını net bir şekilde anlamadan aracı kullandığını söyledi. Bazı geliştiriciler, sessizce iç araçlar veya SaaS ürünleri içinde yaşayan ajanları döndürür – girdilerden öğrenen ancak titizlikle yönetilen ajanlar. Bu, bir saldırganın ajanın daha sonra depoladığı ve yeniden kullandığı kötü bilgileri enjekte ettiği hafıza zehirlenmesinin kapısını açıyor.
Bir SOC’de otonom ajanların en güvenli kullanımının salt okunur erişime sahip oldukları zaman olduğuna inanıyor. “Asistanlar daha az riskli” dedi. “Ajanların daha ne kadar ‘yazma’ eylemleri olursa, dağıtım o kadar riskli olur,” dedi, çünkü sadece bilgi değil, üretim sistemleriyle etkileşime giriyorlar.
Mellen duyguyu yineledi. “Bugün SOC’deki AI ajanları için en sorumlu kullanım durumu bir triyaj ajanıdır.”
Dror, ajan yapay zekaya olan güvenin ajanın nasıl konuşlandırıldığına bağlı olduğunu da sözlerine ekledi. Temsilcinin ne tür kararlar verildiğini ve uygun önlemlerin mevcut olup olmadığına bağlıdır.
Büyük dil modellerinin tanımlayıcı olmayan doğası, hem güvenlik operasyonlarında test hem de denetim için gerekli olan tekrarlanabilirliği ve şeffaflığı karmaşıklaştırır.
Güvenlik korkulukları genellikle geride kalır. Dror, bazı maddelik AI sistemlerinin şifreleme, kimlik doğrulaması veya hatta temel günlüğe kaydetmeden, herhangi bir insan analisti için zorunlu olacak kontrollerin konuşlandırıldığını söyledi.
Uzmanlar, AI sistemleri özerk bir şekilde hareket ettiğinde, açıklanabilirlik boşluklarının adli tıp, uyum ve sorumluluk çabalarını karmaşıklaştırabileceği konusunda uyarıyor. Ve pazarlama hype yardımcı olmuyor. Cragle, “En büyük efsane, ajan AI’nın insan analistlerinin yerini alacağıdır.” Dedi.
Performans beklentileri de yanıltıcı olabilir. Keeper Security’den Patrick Tiquet, bir AI ajanı düşük performans gösteriyorsa, modelin hatası olmayabilir. Şirketlerin eğitim verilerine, ince ayar sürecine ve hatta sorunu nasıl çerçevelediklerine bakmaları gerekebilir.