Microsoft, Google, Openai ve diğer büyük şirketlerden en çok kullanılan AI ajanları ve asistanlarından bazıları, kullanıcı etkileşimi çok az veya hiç kaçırılmaya yatkındır. Zenity Labs’tan yeni araştırmalara göre.
Black Hat USA Siber Güvenlik Konferansı’ndaki bir sunum sırasında, Zenity araştırmacıları bilgisayar korsanlarının verileri nasıl birleştirebileceğini, hedeflenen kuruluşlar arasında kritik iş akışlarını nasıl manipüle edebileceğini ve hatta bazı durumlarda kullanıcıları taklit edebileceğini gösterdi.
Araştırmacılar, bu ajanlara sızmanın ötesinde, saldırganların da hafıza kalıcılığı kazanabileceğini ve uzun vadeli erişim ve kontrolü sürdürmelerine izin verebileceğini söyledi.
Zenity Labs ürün pazarlama müdürü Greg Zemlin, Cybersecurity Dive’a verdiği demeçte, “Talimatları manipüle edebilir, zehirli bilgi kaynaklarını ve ajanın davranışını tamamen değiştirebilirler” dedi. “Bu, özellikle temsilcilerin kritik kararlar vermeleri veya desteklemeleri için güvenilir olduğu ortamlarda sabotaj, operasyonel bozulma ve uzun vadeli yanlış bilgilendirme kapısını açıyor.”
Araştırmacılar, birçok popüler AI ajanında güvenlik açıkları gösterdiler:
- Openai’nin chatgpt’i, bağlı Google Drive hesaplarına erişim sağlayan e-posta tabanlı bir hızlı enjeksiyon kullanılarak tehlikeye atılabilir.
- Microsoft Copilot Studio’nun müşteri desteği temsilcisi tüm CRM veritabanlarını sızdırdı ve araştırmacılar, vahşi doğada iç aletler sızma riski olan 3.000’den fazla ajan tespit etti.
- Salesforce’un Einstein platformu, araştırmacı tarafından kontrol edilen e-posta hesaplarına müşteri iletişimini yeniden yönlendirmek için manipüle edildi.
- Saldırganlar Google’ın İkizler ve Microsoft 365’in Copilot’u içeriden tehditlere dönüştürebilir ve kullanıcıları sosyal mühendislik saldırılarını hedefleyebilir ve hassas konuşmaları çalabilir.
Zenity Labs, bulgularını şirketlere açıkladı ve bazıları derhal yamalar yayınladı, ancak diğerlerinin hangi rehberliği sağladığı bir anda net değildi.
Bir Microsoft sözcüsü Cybersecurity Dive’a verdiği demeçte, “Zenity’nin bu teknikleri koordineli bir açıklama yoluyla tanımlama ve sorumlu bir şekilde raporlama çalışmalarını takdir ediyoruz.” “Araştırmamız, platformumuzda devam eden sistemik iyileştirmeler ve güncellemeler nedeniyle, rapor edilen davranışın artık sistemlerimize karşı etkili olmadığını belirledi.”
Microsoft, copilot temsilcilerinin yerleşik önlemler ve erişim kontrolleri ile tasarlandığını söyledi. Ayrıca, şirketin gelişmekte olan saldırı tekniklerine karşı sistemlerini sertleştirmeye devam etmeyi taahhüt ettiğini söyledi.
Openai, araştırmacılarla görüştüğünü ve ChatGPT’ye bir yama yayınladığını doğruladı. Şirket, bir Açıklama için hata-ödül programı benzer sorunlar.
Salesforce, Zenity’nin bildirdiği sorunu çözdüğünü söyledi.
Google, yakın zamanda Zenity’nin keşfettiği sorunları ele alan yeni, katmanlı savunmalar uyguladığını söyledi.
Bir Google sözcüsü, “Hızlı enjeksiyon saldırılarına karşı katmanlı bir savunma stratejisine sahip olmak çok önemli” dedi. Blog yazısı AI sistem korumaları hakkında.
Araştırma, AI ajanlarının kurumsal ortamlarda hızla ilerledikçe ve büyük şirketler çalışanlarını teknolojiyi önemli bir verimlilik artışı olarak benimsemeye teşvik ettikçe ortaya çıkıyor.
AIM laboratuvarlarından araştırmacılar, benzer sıfır-tıkaç riskleri gösterdi Bu yılın başlarında Microsoft Copilot’u içeren Zenity Labs’ın sonuçlarının, hızla büyüyen AI ekosisteminde önlemlerin eksikliği gösterdiğini söyledi.
AIM laboratuvarları başkanı Itay Ravia, “Ne yazık ki, Openai, Google ve Microsoft gibi AI devleri tarafından sunulanlar da dahil olmak üzere çoğu ajan geliştirme çerçevesi, uygun korkuluklardan yoksun, bu tür saldırıların riskini şirketlerin elinde yönetme sorumluluğunu koyuyor” dedi.