Güvenlik araştırmacıları, yapay zeka aracı iletişim sistemlerinde yerleşik olan güven ilişkilerinden yararlanan karmaşık bir saldırı tekniğini ortaya çıkardı.
Temsilci oturumu kaçakçılığı olarak adlandırılan saldırı, kötü niyetli bir yapay zeka aracısının, yerleşik temsilciler arası iletişim oturumlarına gizli talimatlar enjekte etmesine ve kullanıcının farkındalığı veya izni olmadan kurban aracıların kontrolünü etkili bir şekilde ele geçirmesine olanak tanır. Bu keşif, kurumsal sınırların ötesinde faaliyet gösteren çok aracılı yapay zeka ekosistemlerindeki kritik bir güvenlik açığını vurguluyor.
Temsilci Oturumu Kaçakçılığı Nasıl Çalışır?
Saldırı, satıcı veya mimariden bağımsız olarak AI ajanları arasında birlikte çalışabilir iletişimi kolaylaştırmak için tasarlanmış açık bir standart olan Agent2Agent (A2A) protokolünü kullanan sistemleri hedef alıyor.
A2A protokolünün durum bilgisi olan doğası (son etkileşimleri hatırlama ve tutarlı konuşmaları sürdürme yeteneği), saldırının kolaylaştırıcı zayıflığı haline gelir.
Bir aracıyı tek bir kötü niyetli girişle kandırmaya dayanan önceki tehditlerin aksine, aracı oturumu kaçakçılığı temelde farklı bir tehdit modelini temsil ediyor: Sahte bir yapay zeka aracısı konuşmaları yürütebilir, stratejisini uyarlayabilir ve birden fazla etkileşim üzerinde sahte güven oluşturabilir.
Saldırı, birçok yapay zeka aracı mimarisinde kritik bir tasarım varsayımından yararlanıyor: aracılar genellikle varsayılan olarak diğer işbirliği yapan aracılara güvenecek şekilde tasarlanmıştır.
Bir istemci aracısı ile kötü niyetli bir uzak aracı arasında bir oturum kurulduğunda, saldırgan birden fazla konuşma sırası boyunca aşamalı, uyarlanabilir saldırılar gerçekleştirebilir. Enjekte edilen talimatlar, genellikle yalnızca istemci aracısından gelen nihai birleştirilmiş yanıtı gören son kullanıcılar için görünmez kalır ve bu da üretim ortamlarında algılamayı olağanüstü derecede zorlaştırır.
Saldırı Yüzeyini Anlamak
Araştırmalar, ajan oturumu kaçakçılığının daha önce belgelenen yapay zeka açıklarından farklı bir tehdit sınıfını temsil ettiğini gösteriyor. Basit saldırılar kurban aracıyı tek bir aldatıcı e-posta veya belgeyle manipüle etmeye çalışsa da, aracı olarak görev yapan güvenliği ihlal edilmiş bir aracı çok daha dinamik bir düşman haline gelir.
Saldırının fizibilitesi dört temel özellikten kaynaklanıyor: bağlam kalıcılığına izin veren durum bilgisi olan oturum yönetimi, aşamalı talimat enjeksiyonunu mümkün kılan çok turlu etkileşim yetenekleri, yapay zeka modelleri tarafından desteklenen özerk ve uyarlanabilir akıl yürütme ve kaçak etkileşimleri asla gözlemlemeyen son kullanıcılara görünmezlik.
A2A protokolü ile benzer Model Bağlam Protokolü (MCP) arasındaki farkın burada önemli olduğu ortaya çıkıyor. MCP öncelikle LLM’den araca iletişimi, büyük ölçüde durum bilgisi olmayan bir şekilde çalışan merkezi bir entegrasyon modeli aracılığıyla yönetir.
A2A, aksine, işbirlikçi iş akışlarında kalıcı durumla merkezi olmayan aracılar arası orkestrasyonu vurgular. Bu mimari farklılık, MCP’nin statik ve deterministik yapısının, ajan oturumu kaçakçılığını özellikle tehlikeli hale getiren çok yönlü saldırıları sınırladığı anlamına gelir.
Gerçek Dünya Saldırı Senaryoları
Güvenlik araştırmacıları, müşteri aracısı olarak bir finansal asistanı ve kötü niyetli uzak aracı olarak bir araştırma asistanını kullanarak kavram kanıtlama gösterileri geliştirdiler.
İlk senaryo, kötü niyetli aracının görünüşte zararsız açıklama soruları sunarak finansal asistanı kademeli olarak kandırarak dahili sistem yapılandırmasını, sohbet geçmişini, araç şemalarını ve hatta önceki kullanıcı konuşmalarını açıklamasına neden olan hassas bilgi sızıntısını içeriyordu.
Kullanıcı, finans asistanından yatırım portföyünü ve profilini almasını ve ardından yapay zeka piyasa haberleri hakkında brifing talebinde bulunmasını ister.
Daha da önemlisi, bu ara değişimler, üretimdeki sohbet robotu arayüzlerinde tamamen görünmez kalacak; geliştiriciler bunları yalnızca özel geliştirici araçları aracılığıyla görebilecek.
İkinci senaryo, yetkisiz araç başlatma yeteneklerini gösterdi. Araştırma asistanı, mali asistanı, kullanıcının bilgisi veya onayı olmadan yetkisiz hisse senedi satın alma işlemleri yürütmeye yönlendirdi.
Saldırgan, meşru istekler ve yanıtlar arasına gizli talimatlar yerleştirerek, açık kullanıcı onayı gerektirmesi gereken yüksek etkili eylemleri başarıyla tamamladı. Bu kavram kanıtları, ajan oturumu kaçakçılığının nasıl bilgi sızdırmaktan kullanıcı varlıklarını etkileyen doğrudan yetkisiz eylemlere dönüşebileceğini göstermektedir.
Temsilci oturumu kaçakçılığına karşı savunma, birden fazla saldırı yüzeyini ele alan kapsamlı bir güvenlik mimarisi gerektirir. En kritik savunma, döngüdeki insan onay mekanizmaları aracılığıyla hassas eylemler için bant dışı doğrulamanın zorunlu kılınmasını içerir.
Aracılar yüksek etkili işlemler için talimatlar aldığında, yürütme duraklamalı ve ayrı statik arayüzler veya anlık bildirimler (AI modelinin etkileyemeyeceği kanallar) aracılığıyla onay istemlerini tetiklemelidir.
Bağlam temellendirme tekniklerinin uygulanması, uzak aracı talimatlarının orijinal kullanıcı isteğinin amacı ile anlamsal olarak uyumlu kaldığını doğrulayarak konuşma bütünlüğünü algoritmik olarak güçlendirebilir.
Önemli sapmalar oturumun otomatik sonlandırılmasını tetiklemelidir. Ek olarak, güvenli temsilci iletişimi, oturum kurulmadan önce imzalı AgentCard’lar aracılığıyla temsilci kimliğinin ve yeteneklerinin kriptografik olarak doğrulanmasını, doğrulanabilir güven temellerinin oluşturulmasını ve kurcalanmaya karşı korumalı etkileşim kayıtları oluşturulmasını gerektirir.
Kuruluşlar ayrıca istemci aracı etkinliğini gerçek zamanlı etkinlik kontrol panelleri, araç yürütme günlükleri ve uzaktan talimatların görsel göstergeleri aracılığıyla doğrudan son kullanıcılara sunmalıdır. Kuruluşlar, görünmez etkileşimleri görünür hale getirerek tespit oranlarını ve potansiyel olarak şüpheli aracı davranışlarına ilişkin kullanıcı farkındalığını önemli ölçüde artırır.
Yapay Zeka Güvenliğine Yönelik Kritik Sonuçlar
Araştırmacılar, üretim ortamlarında ajan oturumu kaçakçılığı saldırılarını henüz gözlemlememiş olsa da, tekniğin uygulama engelinin düşük olması, onu kısa vadede gerçekçi bir tehdit haline getiriyor.
Bir saldırganın yalnızca kurban aracısını kötü niyetli bir eşe bağlanmaya ikna etmesi yeterlidir, ardından gizli talimatlar şeffaf bir şekilde enjekte edilebilir. Çok aracılı yapay zeka ekosistemleri küresel olarak genişledikçe ve birbirine daha fazla bağlandıkça, bunların artan birlikte çalışabilirliği, geleneksel güvenlik yaklaşımlarının yeterince ele alamayacağı yeni saldırı yüzeyleri açıyor.
Temel zorluk, yararlı aracı işbirliğinin sağlanması ile güvenlik sınırlarının korunması arasındaki doğal mimari gerilimden kaynaklanmaktadır.
Güven sınırları boyunca çok aracılı sistemler dağıtan kuruluşlar, doğal güvenilirlik varsayımlarından vazgeçmeli ve uyarlanabilir, yapay zeka destekli düşmanlardan kaynaklanan riskleri kontrol altına almak için özel olarak tasarlanmış kapsamlı katmanlı korumalara sahip orkestrasyon çerçeveleri uygulamalıdır.
Anında Güncellemeler Almak ve GBH’yi Google’da Tercih Edilen Kaynak Olarak Ayarlamak için bizi Google Haberler, LinkedIn ve X’te takip edin.
