Güvenlik araştırmacıları, güvenilir AI özetleme araçlarını kötüye kullanan ve potansiyel olarak kullanıcı sistemlerini tehlikeye atmak için bunları ClickFix tarzı adım adım talimatlara dönüştüren sofistike bir hızlı enjeksiyon saldırısı geliştirdiler.
Singapur güvenlik satıcısı CloudSek’in yeni araştırmalarında ayrıntılı olarak açıklanan teknik, insanların bir web sayfasında görebilecekleri ve özet üretirken hangi yapay zeka modellerinin işlediği arasındaki boşluğu kullanıyor.
ClickFix saldırıları, insanların isteyerek takip ettiği kötü niyetli talimatlar sağlayarak, bir sorun veya hatayı çözmek için insan davranışını kullanır.
Genellikle, Windows Run iletişim kutusuna komutları kopyalayıp yapıştırmayı, Terminal Windows’u değiştirmeyi, sistem güvenlik ayarlarını değiştirmeyi, dosyayı indirme ve yürütme, kötü amaçlı tarayıcı uzantıları yüklemeyi ve daha fazlasını içerir.
Microsoft Tehdit İstihbaratı, Lummastealer Infostealer gibi kötü amaçlı yazılımlar sunmak için kullanılan bir dizi tekniği özetledi, bu da captcha testini site ziyaretçilerinin insanlar veya botlar olup olmadığını fark etmek için kötüye kullandı.
CloudSek, saldırganların kötü niyetli talimatları, örneğin e -posta içeriğinde ve web sayfalarında kullanılan Hipermetin Metin İşaretleme Dili (HTML) içeriğine yerleştirebilmelerini, metni insan okuyuculara tamamen görünmez hale getiren basamaklı stil sayfası (CSS) özellikleri kullanabileceğini önermektedir.
Bu teknikler arasında metin opaklığını sıfıra ayarlamak, beyaz arka planlarda beyaz metin, mikroskobik yazı tipi boyutları ve içeriği ekran dışı konumlandırmayı içerir.
Kullanıcılar iyi huylu içerik görürken, AI Summarisers hem görünür metni hem de gizli kötü amaçlı talimatları işlerken, CloudSek araştırmacısı Dharani Sanjaiy yazdı.
Saldırı senaryosu, araştırmacıların, AI modelinin dikkatini çekmek ve sağlamak için gizli bölümler boyunca düzinelerce zaman tekrarlayan “aşırı doz istemi” olarak adlandırılan şeyleri kullanır.
Bir kurban bu tür içerikte bir AI özetleyici kullandığında, araç fidye yazılımlarını indirmek ve yürütmek için temiz, yetkili sesli talimatlar çıkarır.
CloudSek, kavram kanıtı, tarayıcı uzantıları ve web tabanlı hizmetler de dahil olmak üzere birden fazla ticari özetleme aracını başarıyla manipüle etti.
Konsept kanıtını test eden araştırmacılar, “opaklık: 0” ve “yazı tipi boyutu: 0” özellikleri ile şekillendirilmiş görünmez HTML kapsayıcıların içine zararsız baz 64 kodlu PowerShell komutlarını yerleştirdiler.
AI özetleyicileri tarafından işlendiğinde, bu gizli talimatlar, genellikle meşru görünür içeriği tamamen hariç tutarak, oluşturulan özetlerde sürekli olarak ortaya çıktı.
CloudSek’in kavram kanıtı her zaman etkili değildi, çünkü Summariser bazen ClickFix yükünü görünür metinle karıştırdı.
Araştırmacılar, önceden işleme içeriğine odaklanan AI özetleme araçlarını kullanan kuruluşlar için çeşitli savunma önlemleri önermektedir.
İçerik sanitasyon sistemleri, AI modelleri tarafından işlenmeden önce sıfır opaklık ve görünmez metin gibi CSS özniteliklerini soymalıdır.
Hızlı filtreleme mekanizmaları, meta-komutlar ve şüpheli tekrarlama modelleri de dahil olmak üzere dil modeli davranışını manipüle etmek için tasarlanmış gömülü talimatları tespit edebilir.
Güvenlik ekipleri, kodlama yoluyla gizlenmiş olsa bile, ortak fidye yazılımı dağıtım komutlarını tanımlamak için yük modeli tanıma uygulamalıdır.
AI platformları ayrıca, tekrarlanan içeriği daha az ağırlıklandırarak istekli aşırı doz saldırılarının etkinliğini azaltmak için jeton seviyesi dengeleme getirebilir.