Yeni araştırmalar, Hugging Face gibi hizmet olarak yapay zeka (AI) sağlayıcılarının, tehdit aktörlerinin ayrıcalıkları artırmasına, diğer müşterilerin modellerine kiracılar arası erişim elde etmesine ve hatta bunları ele geçirmesine olanak verebilecek iki kritik riske karşı duyarlı olduğunu buldu. sürekli entegrasyon ve sürekli dağıtım (CI/CD) ardışık düzenleri üzerinden.
Wiz araştırmacıları Shir Tamari ve Sagi Tzadik, “Kötü amaçlı modeller, özellikle hizmet olarak yapay zeka sağlayıcıları için yapay zeka sistemleri için büyük bir risk teşkil ediyor çünkü potansiyel saldırganlar, kiracılar arası saldırılar gerçekleştirmek için bu modellerden yararlanabilir.” dedi.
“Saldırganlar, hizmet olarak yapay zeka sağlayıcılarında depolanan milyonlarca özel yapay zeka modeline ve uygulamasına erişebileceğinden potansiyel etki yıkıcıdır.”
Bu gelişme, makine öğrenimi hatlarının yepyeni bir tedarik zinciri saldırı vektörü olarak ortaya çıkmasıyla birlikte ortaya çıkıyor; Hugging Face gibi depolar, hassas bilgileri toplamak ve hedef ortamlara erişmek için tasarlanmış düşmanca saldırılar düzenlemek için çekici bir hedef haline geliyor.
Tehditler, ortak Çıkarım altyapısının ve ortak CI/CD'nin devralınmasının bir sonucu olarak ortaya çıkan iki yönlüdür. Hizmete yüklenen güvenilmeyen modellerin turşu biçiminde çalıştırılmasına ve bir tedarik zinciri saldırısı gerçekleştirmek için CI/CD hattının devralınmasına olanak tanırlar.
Bulut güvenlik firmasından elde edilen bulgular, hileli bir model yükleyerek ve konteyner kaçış tekniklerinden yararlanarak kendi kiracısından çıkıp tüm hizmeti tehlikeye atarak özel modelleri çalıştıran hizmeti ihlal etmenin mümkün olduğunu gösteriyor; bu da tehdit aktörlerinin etkili bir şekilde çapraz veri elde etmesine olanak tanıyor. Hugging Face'te depolanan ve çalıştırılan diğer müşterilerin modellerine kiracı erişimi.
Araştırmacılar, “Hugging Face, tehlikeli görülse bile kullanıcının yüklenen Pickle tabanlı modeli platformun altyapısından çıkarmasına izin vermeye devam edecek” dedi.
Bu, esasen bir saldırganın, yüklendikten sonra isteğe bağlı kod yürütme yeteneklerine sahip bir PyTorch (Pickle) modeli oluşturmasına ve yükseltilmiş ayrıcalıklar elde etmek ve küme içinde yanal olarak hareket etmek için bunu Amazon Elastic Kubernetes Service'te (EKS) yanlış yapılandırmalarla zincirlemesine olanak tanır.
Araştırmacılar, “Elde ettiğimiz sırlar, kötü niyetli bir aktörün elinde olsaydı platform üzerinde önemli bir etki yaratabilirdi” dedi. “Paylaşılan ortamlardaki sırlar genellikle kiracılar arası erişime ve hassas veri sızıntısına yol açabilir.
Sorunu azaltmak için, bölmelerin Örnek Meta Veri Hizmetine (IMDS) erişmesini ve küme içinde bir Düğüm rolünü almasını önlemek amacıyla IMDSv2'nin Atlama Limiti ile etkinleştirilmesi önerilir.
Araştırma aynı zamanda Hugging Face Spaces hizmetinde bir uygulama çalıştırırken özel hazırlanmış bir Dockerfile aracılığıyla uzaktan kod çalıştırmanın mümkün olduğunu ve bunu dahili bir kapsayıcıda bulunan tüm görüntüleri çekmek ve itmek (yani üzerine yazmak) için kullanmanın mümkün olduğunu buldu. kayıt.
Hugging Face, koordineli bir açıklamada, tespit edilen tüm sorunların ele alındığını söyledi. Ayrıca kullanıcıları yalnızca güvenilir kaynaklardan gelen modelleri kullanmaya, çok faktörlü kimlik doğrulamayı (MFA) etkinleştirmeye ve üretim ortamlarında turşu dosyalarını kullanmaktan kaçınmaya çağırıyor.
Araştırmacılar, “Bu araştırma, güvenilmeyen yapay zeka modellerinin (özellikle Pickle tabanlı olanlar) kullanılmasının ciddi güvenlik sonuçlarına yol açabileceğini gösteriyor” dedi. “Ayrıca, kullanıcıların ortamınızda güvenilmeyen yapay zeka modellerini kullanmasına izin vermek istiyorsanız, bunların korumalı alanda çalıştığından emin olmak son derece önemlidir.”
Açıklama, Lasso Security'nin OpenAI ChatGPT ve Google Gemini gibi üretken yapay zeka modellerinin şüphelenmeyen yazılım geliştiricilere kötü amaçlı (ve var olmayan) kod paketleri dağıtmasının mümkün olduğunu ortaya koyan başka bir araştırmasının ardından geldi.
Başka bir deyişle, amaç, yayınlanmamış bir paket için bir öneri bulmak ve kötü amaçlı yazılımı yaymak için onun yerine truva atı haline getirilmiş bir paket yayınlamaktır. Yapay zeka paketi halüsinasyonları olgusu, kodlama çözümleri için büyük dil modellerine (LLM'ler) güvenirken dikkatli olunması gerektiğinin altını çiziyor.
Yapay zeka şirketi Anthropic, modellerin bağlam penceresinden yararlanarak potansiyel olarak zararlı sorgulara yanıtlar üretmek için LLM'lerde yerleşik güvenlik korumalarını atlamak için kullanılabilecek “çok atışlı jailbreak” adı verilen yeni bir yöntemi de ayrıntılı olarak açıkladı.
Şirket bu haftanın başlarında yaptığı açıklamada, “Giderek daha fazla miktarda bilgi girme yeteneğinin LLM kullanıcıları için bariz avantajları var, ancak aynı zamanda riskleri de beraberinde getiriyor: daha uzun bağlam penceresini kullanan jailbreak'lere karşı güvenlik açıkları” dedi.
Özetle teknik, “model davranışını yönlendirmek” ve başka türlü yapamayacağı sorgulara yanıt vermek amacıyla LLM için tek bir komut isteminde bir insan ile bir yapay zeka asistanı arasında çok sayıda sahte diyalogun başlatılmasını içerir (örn. , “Nasıl bomba yaparım?”).