Ajansal Yapay Zeka, Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
AppOmni Artık Yardımcı Temsilcilerin Yetkisiz Eylemleri Tetikleyebileceğini Buluyor
Rashmi Ramesh (raşmiramesh_) •
19 Kasım 2025
AppOmni’nin araştırmasına göre, ServiceNow bulut platformunda çalışan yapay zeka ajanları, normal ajanlar arası iletişimden yararlanan hızlı bir enjeksiyon tekniği yoluyla yetkisiz görevlere itilebilir.
Ayrıca bakınız: Kavram Kanıtı: Yapay Zeka Ajanları Çağı İçin Kimliği Yeniden Düşünmek
Bulgular, varsayılan yapılandırmaların, bir aracının, anlık enjeksiyon korumaları açık olsa bile şirketin AI katmanı Now Assist’te daha geniş ayrıcalıklara sahip başkalarını işe almasına nasıl izin verdiğini gösteriyor.
Araştırmacılar, sistemin güvenilir talimatları güvenilmeyen verilerden ayırt edemediğini söyledi. AppOmni SaaS güvenlik araştırma şefi Aaron Costello, büyük dil modellerinin “ödülü her şeyden önce önceliklendirdiğini”, bunun da gömülü kötü amaçlı metni orijinal görevi tamamlamak için gerekli olarak değerlendirebilecekleri anlamına geldiğini söyledi. Information Security Media Group’a verdiği demeçte, enjekte edilen istemler, aracının amaçlanan hedefine doğru gerekli adımlar olarak çerçevelendiğinde “çok daha yüksek bir başarı oranı” gözlemlediğini söyledi.
Çok ajanlı ortamların riski büyüttüğünü söyledi. “Yapay zeka ajanlarından oluşan bir ekip yalnızca en zayıf halkası kadar dirençlidir.” Yalnızca bir aracının kötü amaçlı metni yanlış yorumlaması gerekir. Aşağı yöndeki aracılar, yukarı yöndeki sapmalardan habersizdir ve her görevi hangi aracının gerçekleştireceğini seçen sistem bileşeni olan Orkestratörden aldıkları görevi yürütürler.
Bu durum, Now Assist’in aracı keşfini nasıl ele aldığına (bir aracının diğerlerini bulma ve çağırma yeteneği) ve hangi LLM’nin kullanıldığı, ekip gruplaması, keşfedilebilirlik ayarları ve her aracının yapılandırılmış ayrıcalıkları gibi dağıtım seçeneklerine bağlıydı. Bu hizalamalar, düşük ayrıcalıklı bir aracının işi daha yüksek ayrıcalıklı bir aracıya devretmesine olanak tanır.
Üç yapılandırma seçeneği, aracı keşfinin gerçekleşip gerçekleşmeyeceğini belirler ve bunların tümü tipik dağıtımlarda varsayılan olarak etkinleştirilir. Temel LLM’nin aracı keşfini desteklemesi gerekir; mevcut seçeneklerin her ikisi de (Azure OpenAI ve varsayılan Now LLM) bu özelliği etkinleştirmiştir.
Herhangi bir aracı güvenilmeyen bir kaynaktan veri okuduğunda bu mimari riskli hale gelir. Kesin bir güven segmentasyonu olmadan Yüksek Lisans, özellikle enjekte edilen metin orijinal görevi tamamlamanın gerekli olduğunu ima ediyorsa, bu verileri içerikten ziyade bir talimat olarak ele alabilir.
Costello, bir testte kullanıma hazır iki aracıyı devreye aldı: kayıtları özetleyen bir olay sınıflandırma aracısı ve kayıtları oluşturabilen, okuyabilen ve güncelleyebilen bir kayıt yönetimi aracısı. Her iki aracı da yalnızca bir yöneticinin kullanımına açıktı. Daha sonra yeni olay bildirimlerini açabilen ancak başkalarının kayıtlarını görüntüleyemeyen düşük ayrıcalıklı bir kullanıcı yarattı.
Düşük ayrıcalıklı kullanıcı, herhangi bir okuma aracısına başka bir biletin açıklamasını alıp üzerine yazması talimatını veren kötü niyetli bir açıklama içeren bir bilet oluşturdu. Bu kullanıcı, erişim kontrolleri nedeniyle başvurulan kayda doğrudan erişemedi.
Bir yönetici daha sonra Now Assist’ten kötü amaçlı bileti kategorilere ayırmasını istediğinde, sistem yönlendirme sırasını başlattı. Aracılar arasındaki bilgi akışını yöneten bir bileşen olan AIA ReAct Engine, görevi en uygun aracıyı arayan bileşen olan Orkestratöre iletti. Bu aracı, kötü amaçlı metni okudu ve onu talimat olarak değerlendiren ve güncellenen görevi Orkestratöre geri gönderen AIA ReAct Engine’e geri gönderdi. Orkestratör, başvurulan kaydı güncellemek için gerekli izinlere sahip olan kayıt yönetimi aracısını seçti.
Kayıt yönetimi aracısı yetkisiz güncellemeyi tamamladı, kontrolü kategorizasyon aracısına geri verdi ve orijinal görevi normal şekilde tamamladı. Düşük ayrıcalıklı kullanıcı ilk bilete sahip olduğundan, bu kullanıcı hassas içeriğin kendi kayıtlarına kopyalandığını gördü.
Costello, bir temsilciyi ayrıcalık yükseltmeyi mümkün kılan roller ataması için kandırmak da dahil olmak üzere diğer testlerin de sonuçlar ürettiğini söyledi. Ajanların, orijinal görevleri ile kötü niyetli yeniden yönlendirme arasındaki tutarsızlıkları sıklıkla gözden kaçırdığını, çünkü alt ajanların daha önceki adımların tehlikeye atıldığı bağlamdan yoksun olduğunu söyledi. Basit posta aktarım protokolünün etkin olduğu ortamlarda, istemler aracıların diğer kayıtlardan veriler içeren giden e-postalar göndermesine de yol açabilir.
Sonuçlar, bir aracının araçlarının yeteneklerinin bir saldırının etkisini belirlediğini gösterdi. Raporda “olası etkinin, ekip içindeki temsilcilerin sahip olduğu araçların yetenekleri tarafından belirlendiği” belirtildi. Yanlış yapılandırmaların “önemli bir risk kaynağı” yaratabileceği ve bazen temel modelle ilişkili riskleri aşabileceği belirtildi.
Costello, ekosistemin önceki testlerden bu yana olgunlaştığını söyledi. ServiceNow artık AI aracılarının özel bir “AI kullanıcısının” izinleriyle çalışmasına olanak tanıyarak kuruluşlara izinlerin kapsamını daha ayrıntılı bir şekilde belirleme olanağı sağlıyor. Bu özellik ortaya çıkmadan önce Costello, “bir ajanın yetkisini sınırlamanın son derece zor olduğunu” ve talimatlara yerleştirilmiş korkulukların etkisiz olduğunu, çünkü bir saldırganın bunları kolayca geçersiz kılabileceğini söyledi.