Mindgard araştırmacıları, Microsoft’un Azure AI İçerik Güvenliği hizmetinde, saldırganların hizmetin korumalarını atlamasına ve yapay zeka tarafından oluşturulan zararlı içeriği açığa çıkarmasına olanak tanıyan kritik güvenlik açıklarını ortaya çıkardı.
Birleşik Krallık merkezli yapay zeka için siber güvenlik girişimi Mindgard, Şubat 2024’te Microsoft’un Azure Yapay Zeka İçerik Güvenliği Hizmetinde iki kritik güvenlik açığı keşfetti. Hackread.com ile paylaşılan araştırmalarına göre bu kusurlar, saldırganların hizmetin güvenliğini atlamasına izin verebilir korkuluklar.
Güvenlik açıkları Mart 2024’te Microsoft’a sorumlu bir şekilde açıklandı ve Ekim 2024’e kadar şirket, bunların etkilerini azaltmak için “daha güçlü hafifletici önlemler” uyguladı. Ancak bunun ayrıntıları şu anda yalnızca Mindgard tarafından paylaşıldı.
Güvenlik Açıklarını Anlamak
Azure AI İçerik Güvenliği, geliştiricilerin uygunsuz içeriği tespit edip yöneterek AI uygulamaları için emniyet ve güvenlik korkulukları oluşturmasına yardımcı olan Microsoft Azure bulut tabanlı bir hizmettir. Nefret söylemi ve açık/sakıncalı materyaller de dahil olmak üzere zararlı içerikleri filtrelemek için gelişmiş teknikler kullanır. Azure OpenAI, girişleri ve AI tarafından oluşturulan içeriği doğrulamak için İstem Kalkanı ve AI Metin Moderasyon korkuluklarına sahip bir Büyük Dil Modeli (LLM) kullanır.
Ancak bu korkuluklarda yapay zeka modellerini jailbreak’lere ve hızlı enjeksiyona karşı koruyan iki güvenlik açığı keşfedildi. Araştırmaya göre, saldırganlar hem AI Text Moderation hem de Prompt Shield korkuluklarını atlatabilir ve sisteme zararlı içerik ekleyebilir, modelin yanıtlarını manipüle edebilir ve hatta hassas bilgileri tehlikeye atabilir.
Saldırı Teknikleri
Mindgard’ın raporuna göre araştırmacıları, korkulukları aşmak için Karakter enjeksiyonu ve Adversarial Machine Learning (AML) dahil olmak üzere iki temel saldırı tekniğini kullandı.
Karakter enjeksiyonu:
Karakterlerin belirli semboller veya dizilerle değiştirilmesi veya enjekte edilmesi yoluyla metnin değiştirildiği bir tekniktir. Bu, aksan işaretleri, homoglifler, sayısal değiştirme, boşluk enjeksiyonu ve sıfır genişlikli karakterler aracılığıyla yapılabilir. Bu ince değişiklikler, modeli aldatarak içeriğin yanlış sınıflandırılmasına neden olabilir ve saldırganların modelin yorumunu manipüle etmesine ve analizi bozmasına olanak tanır. Amaç, korkuluğu aldatarak içeriği yanlış sınıflandırmasını sağlamaktır.
Çekişmeli Makine Öğrenimi (AML):
AML, modelin tahminlerini yanıltmak için girdi verilerinin belirli teknikler aracılığıyla manipüle edilmesini içerir. Bu teknikler arasında tedirginlik teknikleri, sözcük değiştirme, yazım yanlışı ve diğer manipülasyonlar yer alır. Saldırganlar, kelimeleri dikkatlice seçip rahatsız ederek modelin girdinin amacını yanlış yorumlamasına neden olabilir.
Olası Sonuçlar
İki teknik, AI metin denetleme korumalarını etkili bir şekilde atlayarak algılama doğruluğunu sırasıyla %100 ve %58,49’a kadar düşürdü. Araştırmacılar, özel olarak paylaştıkları blog yazılarında, bu güvenlik açıklarının kötüye kullanılmasının toplumsal zarara yol açabileceğini, çünkü “LLM’ye zararlı veya uygunsuz girdilerin ulaşmasıyla sonuçlanabileceğini ve modelin etik, emniyet ve güvenlik yönergelerini ihlal eden yanıtlar üretmesine neden olabileceğini” yazdı. Hackread.com ile.
Dahası, kötü niyetli aktörlerin yapay zeka tarafından oluşturulan çıktılara zararlı içerik eklemesine, model davranışını manipüle etmesine, hassas verileri açığa çıkarmasına ve hassas bilgi veya sistemlere yetkisiz erişim elde etmek için güvenlik açıklarından yararlanmasına olanak tanır.
Araştırmacılar, “Daha geniş saldırılar başlatmak için güvenlik açığından yararlanılması, LLM tabanlı sistemlerin ve veri işleme ve karar verme için bunlara dayanan uygulamaların bütünlüğünü ve itibarını tehlikeye atabilir” dedi.
Kuruluşların en son güvenlik yamalarıyla güncel kalması ve yapay zeka uygulamalarını bu tür saldırılardan korumak için ek güvenlik önlemleri uygulaması çok önemlidir.
İLGİLİ KONULAR
- Azure OMIGOD güvenlik açıklarından yararlanan Mirai botnet
- Microsoft Yapay Zeka Araştırmacıları 38 TB’lık En Hassas Veriyi Ortaya Çıkarıyor
- Kimlik Avı Saldırıları Microsoft 365 E-posta Güvenlik Uyarılarını Atlar
- Araştırmacılar Azure’un Cosmos DB Kullanıcılarının birincil anahtarlarına erişiyor
- Veri Güvenliği: Kongre, Personelin Microsoft’un Yapay Zeka Yardımcı Pilotunu Kullanmasını Yasakladı
- Yeni LLMjacking Saldırısı, Bilgisayar Korsanlarının Kâr Amacıyla Yapay Zeka Modellerini Ele Geçirmesine Olanak Sağlıyor