Hugging Face platformunda en az 100 kötü amaçlı AI ML modeli örneği bulundu; bunlardan bazıları kurbanın makinesinde kod çalıştırarak saldırganlara kalıcı bir arka kapı sağlıyor.
Hugging Face, yapay zeka (AI), doğal dil işleme (NLP) ve makine öğrenimi (ML) ile ilgilenen, toplulukların işbirliği yapabileceği ve modelleri, veri kümelerini ve uygulamaları tamamlayabileceği bir platform sağlayan bir teknoloji firmasıdır.
JFrog’un güvenlik ekibi, platformda barındırılan yaklaşık yüz modelin kötü amaçlı işlevsellik içerdiğini ve bu durumun veri ihlali ve casusluk saldırıları açısından önemli bir risk oluşturduğunu tespit etti.
Bu, Hugging Face’in kötü amaçlı yazılım, turşu ve sır taraması gibi güvenlik önlemlerine ve güvenli olmayan seri durumdan çıkarma gibi davranışları keşfetmek için modellerin işlevselliğini incelemesine rağmen gerçekleşiyor.
Kötü amaçlı AI ML modelleri
JFrog, Hugging Face’te barındırılan PyTorch ve Tensorflow Keras modellerini incelemek için gelişmiş bir tarama sistemi geliştirdi ve kullandı ve bir tür kötü amaçlı işlevselliğe sahip yüz tane buldu.
JFrog raporunda şöyle yazıyor: “‘Kötü amaçlı modeller’ derken, özellikle gerçek, zararlı yükleri barındıranları kastettiğimizi vurgulamak çok önemli.”
“Bu sayı, hatalı pozitifleri hariç tutarak Hugging Face’te PyTorch ve Tensorflow için kötü amaçlı modeller üretmeye yönelik çabaların dağılımının gerçek bir temsilini garanti ediyor.”
Yakın zamanda “baller423” adlı bir kullanıcı tarafından yüklenen ve o zamandan beri HuggingFace’ten kaldırılan bir PyTorch modelinin öne çıkan bir örneği, belirli bir ana bilgisayara (210.117.212.93) ters kabuk oluşturma yeteneği veren bir yük içeriyordu. .
Kötü amaçlı yük, bir PyTorch model dosyası yüklenirken rastgele kod yürütmek için Python’un pickle modülünün “__reduce__” yöntemini kullandı ve kötü amaçlı kodu güvenilir serileştirme sürecine yerleştirerek tespitten kaçtı.
JFrog, aynı veri yükünün farklı durumlarda diğer IP adreslerine bağlandığını buldu; kanıtlar, operatörlerinin bilgisayar korsanlarından ziyade yapay zeka araştırmacıları olma olasılığını öne sürüyor. Ancak deneyleri hala riskli ve uygunsuzdu.
Analistler, operatörlerin gerçek niyetlerini belirlemek amacıyla aktiviteyi çekmek ve analiz etmek için bir HoneyPot kullandılar ancak kurulan bağlantı süresi boyunca (bir gün) herhangi bir komut yakalayamadılar.
JFrog, bazı kötü amaçlı yüklemelerin, Hugging Face’teki güvenlik önlemlerini atlatmayı ve hata ödüllerini toplamayı amaçlayan güvenlik araştırmasının bir parçası olabileceğini, ancak tehlikeli modeller kamuya açık hale geldiğinden riskin gerçek olduğunu ve hafife alınmaması gerektiğini söylüyor.
AI ML modelleri, önemli güvenlik riskleri oluşturabilir ve bunlar, paydaşlar ve teknoloji geliştiricileri tarafından takdir edilmemiş veya gereken özenle tartışılmamıştır.
JFrog’un bulguları bu sorunu vurguluyor ve ekosistemi kötü niyetli aktörlerden korumak için daha fazla dikkat ve proaktif önlemler alınmasını gerektiriyor.