Yapay zekadan yapay zekaya saldırı senaryosu yalnızca Terminatör serisi filmler gibi gişe rekorları kıran filmler için bir bilim kurgu olasılığı mıdır?
Belki de hayır!
Araştırmacılar kısa süre önce bir yapay zeka aracısının “bir konuşmaya kötü niyetli talimatlar enjekte ederek bunları normalde zararsız olan istemci istekleri ve sunucu yanıtları arasında gizleyebildiğini” keşfettiler. Bilinen yapay zeka tehditleri, bir aracıyı kötü amaçlı verilerle kandırmayı içerirken, bu yeni tehdit, son etkileşimleri hatırlamak ve tutarlı konuşmaları sürdürmek için Agent2Agent (A2A) protokolünün bir özelliğinden yararlanıyor.
Yapay zeka aracıları birbirleriyle etkileşime girer, dahili API’leri kullanır ve ayrıcalıklarla çalışır. Geleneksel yapay zeka korkulukları ve eski API güvenliği artık buna engel olmadığından, güvenliğe yeni bir yaklaşıma ihtiyaç var.
Agent2Agent İstemi Enjeksiyonu ve Ortaya Çıkan Tehditler
Yapay zeka ajanları iletişim kurabilir, talimat verebilir ve insan gözetimini atlayabilir; bu da onları hem değerli hem de tehlikeli kılar.
İstem ekleme, bir kullanıcının kötü niyetli bir istem yazmasını sağlamak için kullanılır. Artık aracılar diğer aracıları hedef alan kötü amaçlı istemler yazabilir. Bu gerçek, tehdit vektörlerini genişletti ve risk modelini dönüştürdü. Dahili API’nin kötüye kullanımı, yanal hareket ve aracı zinciri uzlaşması tehditleri artık her zamankinden daha şiddetli.
Güvenlik araştırmacılarına göre, bir yapay zeka aracısı başka bir aracının istenmeyen şekillerde çalışmasına neden olabilir ve potansiyel olarak veri ifşasına veya yetkisiz araç kullanımına neden olabilir. Bunu, Agent2Agent (A2A) iletişim protokolünün durum bilgisi olan aracılar arası iletişim davranışından yararlanan çok aşamalı istem enjeksiyonları sunarak başarır.
A2A protokolü, satıcıya, mimariye veya temel teknolojiye bakılmaksızın yapay zeka aracıları arasında birlikte çalışabilir iletişimi kolaylaştıran açık bir standarttır. Temel amacı, temsilcilerin özerkliği ve gizliliği korurken karmaşık, dağıtılmış görevleri çözmek için birbirlerini keşfetmelerini, anlamalarını ve koordine etmelerini sağlamaktır. Protokol, Model Bağlam Protokolüne (MCP) benzer. Ancak MCP, A2A’nın amacının aracı orkestrasyonu olduğu araç entegrasyonu yoluyla yürütmeye odaklanır.
Temsilci oturumu kaçakçılığı saldırısı olarak adlandırılan bu risk, güvenlik liderleri için çeşitli nedenlerden dolayı çok önemlidir:
- Saldırı yüzeyi artık aracı API’leri, dahili araç erişimi, aracılar arası mesajlaşma ve ayrıcalıklı eylemler de dahil olmak üzere yeni tehditleri ve saldırı vektörlerini kapsıyor.
- Çıkışların filtrelenmesi gibi geleneksel korkuluklar artık yeterli olmayabilir. Saldırganlar, filtrelemenin mevcut olmayabileceği aracıdan aracıya düzeyde girdiler oluşturabilir.
Daha önce teorileştirilmiş olsa da, ortaya çıkan bu tehdit, mevcut ve gerçek ortamlarda başlatılmayı bekleyen olası saldırı senaryolarının çeşitliliğini vurguluyor. Güvenlik ekipleri bu yeni gerçekle yüzleşmelidir. Yeni bir savunma katmanı oluşturmaları gerekiyor.
A2AS ile Tanışın: Ajansal Yapay Zeka Güvenliği için Yeni Bir Standart
A2AS çerçevesi yeni savunma katmanıdır.
A2AS, tıpkı HTTPS’nin HTTP’yi güvence altına alması gibi, yapay zeka aracılarının ve LLM destekli uygulamaların güvenliğini sağlar. Araştırmacılar bunu ajansal yapay zeka güvenlik risklerini ele almak için geliştirdi. Bu riskler arasında hızlı enjeksiyon, aletin yanlış kullanımı ve aracının tehlikeye atılması yer alır. Üç çığır açıcı yeteneğe odaklanıyor:
- Davranış Sertifikaları: Temsilcilerin yapabileceklerini ve yapamayacaklarını beyan etmek ve uygulamak.
- Kendini Savunma Mantığını Modelleyin: Modelin bağlam penceresine güvenlik farkındalığını ekleyin. Bu, modelin kötü amaçlı veya güvenilmeyen talimatları gerçek zamanlı olarak reddetmesini sağlar
- İstem Düzeyinde Güvenlik Kontrolleri: Kimliği doğrulanmış istemler, korumalı alan oluşturma, kod olarak politika, her etkileşimi doğrulayın.
A2AS önemlidir çünkü güvenliğe değişen bir yaklaşımı temsil eder. Aracıların ayrıcalıkları ve araç erişimi vardır, dolayısıyla izleme ve filtreleme tek başına yeterli değildir. Güvenlik modellerinin artık yalnızca girişi değil çalışma zamanını da güvence altına alması gerekiyor. Bu, çalışma zamanı öz savunmasını, sertifikasyonunu ve yaptırımını entegre etmek anlamına gelir.
Wallarm, AWS, Bytedance, Cisco, Elastic, Google, JPMorganChase, Meta ve Salesforce’tan araştırmacılarla birlikte A2AS’nin geliştirilmesinde önemli bir rol oynadı ve benimsenmesine öncülük ediyor.
A2AS Ajans Yapay Zeka Güvenliğine Ne Getiriyor?
A2AS çerçevesi, AI aracılarının yalnızca açıkça yapmalarına izin verilen şeyleri yapabilmelerini ve gördükleri her talimatın kimliğinin doğrulanması, izole edilmesi ve doğrulanması gerektiğini sağlamayı amaçlamaktadır.
Bunu mümkün kılmak için A2AS, BASIC modeli adı verilen beş bölümlü bir standart kullanıyor.
Davranış sertifikaları Bir aracının kullanmasına izin verilen tam yetenekleri tanımlayın. Buna araçlar, dosyalar, işlevler veya sistem işlemleri dahildir. Sertifikalı değilse olmuyor. Bu sertifikalar, A2AS’ın virüs bulaşmış bir aracının ayrıcalıkları yükseltmesini nasıl önlediğini gösterir.
Kimliği doğrulanmış istemler Bağlam pencerelerine girmeden önce her talimatın bütünlüğünü doğrulayın. Kurcalanmış, sahtekarlık yapılmış veya enjekte edilmiş mesajların temsilci muhakemesini etkilemesini önlerler.
Güvenlik Sınırları Güvenilmeyen içeriği güvenilir sistem talimatlarından ayırın. Bunu, modele giren her şeyi etiketleyerek ve bölümlere ayırarak, hızlı enjeksiyonu mümkün kılan belirsizliği ortadan kaldırarak yaparlar.
Bağlam içi savunmalar güvenlik gerekçesini doğrudan modelin bağlam penceresinin içine yerleştirin. Aracıya harici girdilere güvenmemesi, güvenli olmayan komutları göz ardı etmesi ve yürütme sırasında kötü amaçlı kalıpları etkin bir şekilde etkisiz hale getirmesi konusunda rehberlik ederler.
Kodlanmış politikalar Çalışma zamanında iş kurallarını uygulayın. Bu, hassas verileri engelledikleri, yüksek riskli eylemler için onay gerektirdikleri ve manuel gözetim olmadan uyumluluğu sağladıkları anlamına gelir.
Bu kontroller birlikte, kullanıcıdan aracıya yapılan saldırılara direnebilen, aracın kötüye kullanımını önleyebilen ve aracıdan aracıya hızlı bulaşmaları yayılmadan önce durdurabilen, kendini savunan bir aracı oluşturur.
A2AS İşletmeler ve SOC’ler İçin Neden Önemli?
Ajansal yapay zekanın benimsenmesi arttıkça standartlaştırılmış güvenlik ihtiyacı da giderek acil hale geliyor. Otonom aracılar artık operasyonları yönetiyor, hassas verilere erişiyor ve dahili sistemlerle etkileşime giriyor. Bu saldırı yüzeyini patlatır.
Üstelik aracılar hiçbir zaman özerk karar alma için tasarlanmamış API’ler aracılığıyla iletişim kurar, ayrıcalıklı araçları çağırır ve çalışır. A2AS, NIST çerçevelerinin geleneksel siber güvenliği şekillendirmesine benzer şekilde, bu karmaşıklığı güvence altına almak için birleştirici bir çerçeve sağlar.
Saldırganlar, geleneksel ihlallerden, ajan davranışlarını manipüle etmeye odaklanıyor. Güvenliği ihlal edilmiş bir aracı, yetkisiz işlemleri tetikleyebilir, düzenlenmiş verileri sızdırabilir veya kötü niyetli talimatlar yayabilir. SOC’lerin bu saldırıları tespit etmek, kontrol altına almak ve ilişkilendirmek için A2AS uyumlu kontrollere ihtiyacı olacak.
Yönetmelikler de gelişiyor. Yapay zeka temsilcilerinin güvenliğini sağlayamamak, yakında uyumsuzluk anlamına gelebilir.
Peki kuruluşlar A2AS’ye nasıl hazırlanabilirler?
Ajansal yapay zeka sistemlerinizi kilitlemek ve A2AS çerçevesine hazırlanmak için kısa bir kontrol listesi:
| Aksiyon | Tanım |
| Envanter aracılı sistemler | Otonom aracıları, kimliklerini, aracılar arası iletişim yollarını, açığa çıkan API’leri ve yürütme ayrıcalıklarını tanımlayın. Her temsilci için net sahiplik ve güven sınırları belirleyin. Wallarm tüm ekosisteminizi keşfetmenize yardımcı olabilir. |
| Temsilci davranışını ve maruz kalmayı haritalayın | Her temsilcinin hangi eylemleri gerçekleştirdiğini belgeleyin izin verilmiş gerçekleştirmek için hangi araçlara ve veri kaynaklarına erişebileceği ve hangi istemleri veya talimatları alabileceği veya üretebileceği. Bu, davranış sertifikasyonunun temelini oluşturur. |
| Çalışma zamanı korumasını zorunlu kılın | API’ler ve aracı etkileşimleri genelinde kötü niyetli istemleri, yetkisiz araç çağrılarını ve anormal aracı davranışlarını incelemek ve engellemek için gerçek zamanlı kontroller uygulayın. Güvenliğin yalnızca tasarım zamanında değil, çalışma zamanında da çalışması gerekir. |
| Davranış sertifikasyonu ve politika uygulamasını uygulayın | Temsilcilerin A2AS ilkeleri doğrultusunda yalnızca onaylanmış niyet, kapsam ve yetki dahilinde hareket etmesini sağlamak için aracı davranış sertifikalarını, kimliği doğrulanmış istemleri ve kod olarak politika kontrollerini tanımlayın ve uygulayın. |
| Temsilci etkinliğini izleyin, tespit edin ve ilişkilendirin | Temsilciler arası etkileşimleri, bilgi istemi akışlarını, çıktıları ve araç kullanımını sürekli olarak izleyin. SOC ekiplerinin manipülasyon girişimlerini tespit etmesine, eylemleri belirli aracılara atfetmesine ve tehlikeye atılmış davranışları kontrol altına almasına olanak sağlayın. |
| Ajansal yapay zeka standartlarını benimseyin ve bunlara uyum sağlayın | Tutarlılığı, birlikte çalışabilirliği ve gelecekteki düzenleme ve sektör gereksinimlerine hazırlığı sağlamak için dahili güvenlik kontrollerini A2AS gibi yeni ortaya çıkan çerçevelerle uyumlu hale getirin. |
Artık harekete geçme zamanı; bir ihlalin gerçekleşmesini beklemek çok geç.
Ajansal Yapay Zekanın Geleceğini Güvenceye Alın
Temsilciler arası iletişimin ve aracılı orkestrasyonun güçlendirilmesi, siber güvenlik stratejisinde yeni bir cepheyi temsil ediyor. A2AS, aracıların yanlış davranışlarından ve hızlı enjeksiyonlardan güvensiz yapay zeka tedarik zincirlerine kadar birçok kullanım durumuna karşı koruma sağlayan bir çerçeve sunar. Wallarm pratik uygulamayı sağlar. İşletmeler ajansal yapay zekayı benimsedikçe güvenlik sonradan akla gelen bir düşünce olamaz. Bunu çalışma zamanında API/aracı sınırında hazırlamaları gerekir.
A2AS çerçevesi hakkında daha fazla bilgi edinmek için web sitelerini ziyaret edebilirsiniz. Wallarm’ın hazırlanmanıza nasıl yardımcı olabileceğini öğrenmek için bugün bir demo planlayın.