Bilgisayar korsanları makine öğrenimi modellerini hedefliyor, saldırıyor ve istismar ediyor. Hassas verileri çalmak, hizmetleri kesintiye uğratmak veya sonuçları kendi lehlerine değiştirmek için bu sistemlere sızmak istiyorlar.
Bilgisayar korsanları, ML modellerini tehlikeye atarak sistem performansını düşürebilir, mali kayıplara neden olabilir ve yapay zeka destekli uygulamaların güvenine ve güvenilirliğine zarar verebilir.
Trail of Bits’teki siber güvenlik analistleri yakın zamanda Sleepy Pickle’ın istismarının, tehdit aktörlerinin makine öğrenimi modellerinden yararlanmasına ve son kullanıcılara saldırmasına olanak tanıdığını keşfetti.
Teknik Analiz
Araştırmacılar, makine öğrenimi modellerini dağıtmak için güvenli olmayan Pickle formatından yararlanan bilinmeyen bir saldırı olan Sleepy Pickle’ı ortaya çıkardı.
Model dağıtan sistemleri tehlikeye sokan önceki tekniklerin aksine, Sleepy Pickle seri durumdan çıkarma sırasında modele gizlice kötü amaçlı kod enjekte ediyor.
Free Webinar on API vulnerability scanning for OWASP API Top 10 vulnerabilities -> Book Your Spot
Bu, arka kapılar eklemek veya çıkışları kontrol etmek için model parametrelerinin değiştirilmesine ve son kullanıcı güvenliği, güvenliği ve gizliliğinden ödün vererek işlenmiş verilere müdahale etmek için model yöntemlerinin takılmasına olanak tanır.
Bu teknik, modeli ve veriyi içeren, kötü amaçla hazırlanmış bir turşu dosyası sunar. Seri durumdan çıkarıldığında dosya, kurbana geri göndermeden önce bellek içi modeli değiştirerek yürütülür.
.webp)
Sleepy Pickle, seri durumdan çıkarma sırasında modellere dinamik olarak müdahale eden yükleri gizlice enjekte ederek kötü niyetli aktörlere makine öğrenimi sistemleri üzerinde güçlü bir dayanak noktası sunuyor.
Bu, hiçbir disk izi bırakmadan, yük tetikleyicilerini özelleştirerek ve saldırı yüzeyini hedefin tedarik zincirindeki herhangi bir turşu dosyasına genişleterek geleneksel tedarik zinciri saldırılarının sınırlamalarının üstesinden gelir.
Gizlice kötü amaçlı modeller yüklemekten farklı olarak, Sleepy Pickle kötülüğü çalışma zamanına kadar gizler.
Saldırılar, girişleri ve çıkışları kontrol etmek için arka kapılar veya kanca yöntemleri eklemek üzere model parametrelerini değiştirebilir, bu da üretken yapay zeka asistanlarının ağırlık düzeltmesi sonrasında zararlı tavsiyeler sunarak modeli yanlış bilgilerle zehirlemesi gibi bilinmeyen tehditlere olanak tanır.
Tekniğin dinamik, İz Bırakmayan doğası, statik savunmalardan kaçar.
.webp)
Hassas verileri işleyen LLM modelleri risk oluşturmaktadır. Araştırmacılar, gizli bir kelimenin tetiklediği kod kayıt verilerini enjekte ederek, gebelik sırasında özel bilgileri çalmak için bir modelden ödün verdi.
Saldırının model içerisinde gerçekleşmesi nedeniyle geleneksel güvenlik önlemleri etkisiz kaldı.
ML sistemlerinden ortaya çıkan bu bilinmeyen tehdit vektörü, bunların geleneksel saldırı yüzeylerinin ötesinde kötüye kullanım potansiyelini vurguluyor.
.webp)
Ayrıca, web sayfalarını özetleyerek kullanıcı deneyimini geliştiren tarayıcı uygulamaları gibi başka türde özetleyici uygulamalar da vardır.
Kullanıcılar bu özetlere güvendiğinden, zararlı özetler oluşturmak için arkalarındaki modelin tehlikeye atılması gerçek bir tehdit olabilir ve bir saldırganın kötü amaçlı içerik sunmasına olanak sağlayabilir.
Kötü amaçlı bağlantılar içeren değiştirilmiş özetler kullanıcılara geri gönderildiğinde, kullanıcılar bu tür bir bağlantıya tıklayabilir ve kimlik avı dolandırıcılığının veya kötü amaçlı yazılımların kurbanı olabilirler.
.webp)
Uygulama, JavaScript içeren içerik döndürürse bu verinin kötü amaçlı bir komut dosyası yerleştirmesi de mümkündür.
Bu saldırıları azaltmak için saygın kuruluşların modelleri kullanılabilir ve güvenli dosya formatları seçilebilir.
Free Webinar! 3 Security Trends to Maximize MSP Growth -> Register For Free