Hugging Face platformunda 100 kadar kötü amaçlı yapay zeka (AI)/makine öğrenimi (ML) modeli keşfedildi.
Yazılım tedarik zinciri güvenlik firması JFrog, bunların arasında turşu dosyası yüklemenin kod yürütmeye yol açtığı durumları da içerdiğini söyledi.
Kıdemli güvenlik araştırmacısı David Cohen, “Modelin yükü, saldırgana ele geçirilen makinede bir kabuk vererek, genellikle 'arka kapı' olarak adlandırılan bir yöntemle kurbanların makineleri üzerinde tam kontrol sahibi olmalarını sağlıyor” dedi.
“Bu sessiz sızma, potansiyel olarak kritik dahili sistemlere erişim sağlayabilir ve büyük ölçekli veri ihlallerine ve hatta kurumsal casusluğa yol açabilir, yalnızca bireysel kullanıcıları değil, potansiyel olarak dünya çapındaki tüm kuruluşları etkileyebilir ve tüm bunları yaparken kurbanları tehlikeye atılmış durumlarından tamamen habersiz bırakabilir. “
Spesifik olarak, hileli model 210.117.212'ye ters kabuk bağlantısı başlatır.[.]93, Kore Araştırma Ortamı Açık Ağına (KREONET) ait bir IP adresi. Aynı yükü taşıyan diğer depoların başka IP adreslerine bağlandığı gözlemlendi.
Bir vakada, modelin yazarları kullanıcılara modeli indirmemeleri yönünde çağrıda bulunarak yayının araştırmacıların veya yapay zeka uygulayıcılarının işi olma ihtimalini artırdı.
JFrog, “Ancak, güvenlik araştırmasındaki temel prensip, gerçek anlamda çalışan güvenlik açıklarını veya kötü amaçlı kodları yayınlamaktan kaçınmaktır” dedi. “Kötü amaçlı kod gerçek bir IP adresine tekrar bağlanmaya çalıştığında bu ilke ihlal edildi.”
Bulgular, açık kaynak kodlu depolarda gizlenen ve hain faaliyetler nedeniyle zehirlenebilecek tehdidin bir kez daha altını çiziyor.
Tedarik Zinciri Risklerinden Sıfır Tıklama Solucanlarına
Bunlar aynı zamanda araştırmacıların, ışın arama tabanlı çekişmeli saldırı (BEAST) adı verilen bir teknik kullanarak geniş dil modellerinden (LLM'ler) zararlı yanıtları ortaya çıkarmak için kullanılabilecek istemler oluşturmanın etkili yollarını geliştirmesiyle de ortaya çıkıyor.
İlgili bir gelişmede, güvenlik araştırmacıları, verileri çalabilen ve kötü amaçlı yazılımları birden fazla sisteme yayabilen, Morris II adında üretken bir yapay zeka solucanı olarak bilinen bir solucan geliştirdi.
En eski bilgisayar solucanlarından birinin farklı bir versiyonu olan Morris II, GenAI modelleri tarafından işlendiğinde, onları “girdiyi çıktı olarak kopyalamak (çoğaltma) ve etkileşime geçmek için” tetikleyebilen, görüntü ve metin gibi girdilere kodlanmış, kendi kendini kopyalayan rakip istemlerden yararlanır. Güvenlik araştırmacıları Stav Cohen, Ron Bitton ve Ben Nassi, “kötü amaçlı faaliyetlerde (payload)” dedi.
Daha da kötüsü, modeller, üretken yapay zeka ekosistemindeki bağlantılardan yararlanılarak yeni uygulamalara kötü amaçlı girdiler sağlayacak şekilde silah haline getirilebilir.
ComPromptMized olarak adlandırılan saldırı tekniği, kodu bir sorgunun içine ve verileri yürütülebilir kodu tuttuğu bilinen bölgelere yerleştirmesi nedeniyle arabellek taşmaları ve SQL enjeksiyonları gibi geleneksel yaklaşımlarla benzerlikler paylaşıyor.
ComPromptMized, yürütme akışı üretken bir yapay zeka hizmetinin çıktısına bağlı olan uygulamaların yanı sıra sorgu yanıtlarını zenginleştirmek için metin oluşturma modellerini bir bilgi alma bileşeniyle birleştiren erişim artırılmış oluşturma (RAG) kullanan uygulamaları da etkiler.
Bu çalışma, LLM'lere saldırmanın ve onları istenmeyen eylemler gerçekleştirmeleri için kandırmanın bir yolu olarak hızlı enjeksiyon fikrini araştıran ilk çalışma olmadığı gibi son da olmayacak.
Daha önce akademisyenler, modelin saldırgan tarafından seçilen metin veya talimatları çıkarmasına neden olan çok modlu LLM'lere görünmez “düşmanca tedirginlikler” enjekte etmek için görüntüleri ve ses kayıtlarını kullanan saldırıları göstermişti.
Nassi, Eugene Bagdasaryan, Tsung-Yin Hsieh ve Vitaly Shmatikov ile birlikte geçen yılın sonlarında yayınlanan bir makalede, “Saldırgan, kurbanı ilginç bir görsel içeren bir web sayfasına yönlendirebilir veya ses klibi içeren bir e-posta gönderebilir” dedi.
“Kurban görüntüyü veya klibi doğrudan yalıtılmış bir LLM'ye girdiğinde ve bununla ilgili sorular sorduğunda, model, saldırganın enjekte ettiği istemler tarafından yönlendirilecek.”
Geçen yılın başlarında, Almanya'nın Saarland Üniversitesi'ndeki CISPA Helmholtz Bilgi Güvenliği Merkezi ve Sequire Technology'den bir grup araştırmacı, bir saldırganın, modelin muhtemelen kullanacağı gizli istemleri verilere stratejik olarak enjekte ederek (yani dolaylı bilgi istemi enjeksiyonu) LLM modellerinden nasıl yararlanabileceğini ortaya çıkardı. Kullanıcı girişine yanıt verirken alın.