Yapay Zeka ve Makine Öğrenmesi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Güvenlik Araştırmacısı Sistemin Ele Geçirilmesine İzin Veren Kusuru Ortaya Çıkardı
Akşaya Asokan (asokan_akshaya) •
28 Ağustos 2024
Microsoft, saldırganların hızlı enjeksiyon saldırısı kullanarak çok faktörlü kimlik doğrulama kodunu çalmasına olanak tanıyan yapay zeka sohbet robotu Copilot’taki bir güvenlik açığını düzelttiğini duyurdu.
Ayrıca bakınız: InfoSec: Tutarlılığı Sağlamak İçin Üçüncü Taraf Risk Yönetimine Yapay Zeka Uygulamak
Güvenlik araştırmacısı Johann Rehberger, Pazartesi günü yayınladığı blog yazısında Copilot’un ASCII kaçakçılığına karşı savunmasız olduğunu, bunun da “ASCII’yi yansıtan ancak kullanıcı arayüzünde aslında görünmeyen özel Unicode karakterleri” kullanarak Copilot’un görünmez bir şekilde veri toplamasını ve bunları bir köprü metnine yerleştirmesini zorlamak anlamına geldiğini söyledi.
“Kullanıcı bağlantıya tıkladığında veriler üçüncü taraf sunucusuna gönderiliyor” dedi.
Bilgisayar devi, Rehberger’e söz konusu güvenlik açığını düzelttiğini söyledi ancak yorum talebine hemen yanıt vermedi.
Rehberger, “Microsoft’un bu açığı tam olarak nasıl düzelttiği ve hangi azaltma önerilerinin uygulandığı belirsiz. Ancak Ocak ve Şubat aylarında oluşturup onlarla paylaştığım istismarlar artık çalışmıyor,” dedi.
ASCII’ler, bilgisayarlardaki metni temsil eden sayısal değerlerdir. ASCII kaçakçılığı, saldırganların talimatları normal metinde gizlemesine olanak tanıyan benzer bir sayısal değer olan Unicode’u kullanmayı içerir. Bir AI sistemi içinde, saldırılar, sistem kullanıcısının kötü niyetli bir şeyden şüphelenmesine gerek kalmadan bilgisayar korsanlarının görünmez istem enjeksiyonu gerçekleştirmesine olanak tanır.
Saldırıyı gerçekleştirmek için Rehberger, öncelikle halihazırda var olan bir istem enjeksiyon açığını istismar etmek için komutlar içeren bir kimlik avı e-postası gönderdi. Microsoft tarafından yamalanmayan güvenlik açığı, uygulamanın üçüncü taraf kaynaklardan gelen e-postaları ve diğer belgeleri nasıl işlediğinden kaynaklanıyor.
Araştırmacı, kimlik avı e-postasının içine hedef gelen kutusundan “Slack onay kodu” başlıklı belirli bir e-postayı bulma ve “Merhaba, bugün güzel bir gün” mesajı şeklinde gizlenmiş harici bir URL’de “Unicode etiketlerini yazdır” komutlarını ekledi.
Copilot saldırganın gönderdiği e-postayla etkileşime girdiğinde, uygulamanın kullanıcı onayı olmadan hassas içerikleri görüntülemesini isterken, ASCII kaçakçılığı kodu kötü amaçlı bağlantıyı gösterdi
Kullanıcı bağlantıya tıkladığında, araştırmacının daha sonra düz metne dönüştürdüğü ASCII metni olarak Slack kodunun açıklandığı bir sayfaya yönlendiriliyordu.
Rehberger, tehdit aktörünün kimlik avı e-postalarının yanı sıra kötü amaçlı dokümantasyon veya artırılmış nesil alma yöntemlerini de kullanabileceğini söyledi.
Taktikleri kullanarak daha fazla istismarı önlemek için Copilot kullanıcılarının Unicode etiketlerini veya tıklanabilir köprü metinlerini yorumlamaması veya işlememesi gerektiğini söyledi. Ayrıca saldırganların hassas bilgileri istem bağlamına getirmesini önlemek için istem enjeksiyonu için otomatik araç çağrısını devre dışı bırakmayı önerdi.
Hızlı enjeksiyon, AI sistemlerini ve model geliştirmeyi destekleyen yazılım kütüphanelerini etkileyen yaygın güvenlik kusurlarından biri olmaya devam ediyor. Sohbet uygulaması Slack, bilgisayar korsanlarının altta yatan büyük dil modelinin işleyişini değiştirmesine izin verecek olan AI sistemlerindeki hızlı enjeksiyon kusurunu düzeltti (bkz: Slack, AI Araç Setindeki Hızlı Enjeksiyon Kusurunu Düzeltiyor).