Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Bilgisayar Korsanları Verileri Çalmak, Yapay Zeka Modellerini Manipüle Etmek İçin Kopyalamadaki Hatadan Yararlanabilir
Rashmi Ramesh (raşmiramesh_) •
24 Mayıs 2024
Saldırganlar, özel yapay zeka modellerine ve özel bilgiler ve kişisel tanımlanabilir bilgiler de dahil olmak üzere hassas verilere erişmek için Replicate yapay zeka platformundaki artık azaltılmış kritik bir güvenlik açığından yararlanmış olabilir.
Ayrıca bakınız: Uygulamalarınızı Güvenceye Alın: Yapay Zeka Tarafından Oluşturulan Kod Risklerini Nasıl Önleyeceğinizi Öğrenin
Replicate, şirketlerin yapay zeka modellerini paylaşmasına ve bunlarla etkileşime girmesine olanak tanır. Merkezdeki mevcut modellere göz atabilir veya kendi modellerini yükleyebilirler. Ayrıca bir çıkarım altyapısı sağlayarak müşterilerin özel modelleri barındırmasına yardımcı olur.
Wiz araştırmacıları bir blog yazısında, güvenlik açığından yararlanılmasının, Replicate müşterilerinin AI istemlerine ve sonuçlarına yetkisiz erişime izin verebileceğini ve bu yanıtları potansiyel olarak değiştirebileceğini söyledi. Bu eylemler, yapay zeka davranışının manipülasyonuyla sonuçlanır ve bu modellerin karar verme süreçlerini tehlikeye atar, bu da yapay zeka odaklı çıktıların doğruluğunu ve güvenilirliğini tehdit eder. Bu, otomatik kararların güvenilmezliğine yol açabilir ve güvenliği ihlal edilmiş modellere bağımlı olan kullanıcılar için “geniş kapsamlı sonuçlar” doğurabilir.
Yapay zeka modelleri esas itibarıyla koddan oluşur ve paylaşılan ortamlarda güvenilmeyen kodun çalıştırılması, ilgili tüm sistemlerde depolanan veya erişilebilen müşteri verilerini etkileyebilir.
Replicate’in durumunda saldırganlar, Replicate’teki modelleri kapsayıcı hale getirmek için özel olarak kullanılan bir formatta kötü amaçlı bir kapsayıcı oluşturarak kodu uzaktan çalıştırabiliyor. Wiz araştırmacıları da aynısını yaptı. Cog formatında kötü amaçlı bir konteyner oluşturup platforma yüklediler. Kök ayrıcalıklarıyla bunu Replicate’in altyapısında kod yürütmek için kullandılar, böylece ortamda yanal olarak hareket etmelerine ve sonunda kiracılar arası bir saldırı gerçekleştirmelerine olanak tanıdılar.
Araştırmacılar, kusurun aynı zamanda hizmet olarak yapay zeka çözümlerinde, özellikle de yapay zeka modellerini güvenilmeyen kaynaklardan çalıştıran ortamlarda kiracı ayrımının zorluğunu vurguladığını söyledi. Kiracılar arası bir saldırının yapay zeka sistemleri üzerindeki potansiyel etkisi “yıkıcıdır çünkü saldırganlar, hizmet olarak yapay zeka sağlayıcılarında depolanan milyonlarca özel yapay zeka modeline ve uygulamasına erişebilir.”
Araştırmacılar bu güvenlik açığını, güvenlik şirketinin platformlarını test etmek için ortaklık kurduğu hizmet olarak yapay zeka sağlayıcılarının yamalı hatalarını ifşa ettiği devam eden araştırmanın bir parçası olarak keşfettiler. Wiz araştırmacıları geçen ay Hugging Face AI platformunda Replicate’de keşfedilen etkiye benzer bir etkiye sahip bir güvenlik açığı buldu.
Wiz ekibi, kod yürütme tekniğinin, modeller aslında potansiyel olarak kötü amaçlı olabilecek kod olsa bile kuruluşların güvenilmeyen kaynaklardan yapay zeka modellerini çalıştırdığı bir kalıp olduğundan şüpheleniyordu. Araştırmacılar, “Aynı tekniği Hugging Face ile daha önceki yapay zeka güvenlik araştırmamızda kullandık ve yönetilen yapay zeka çıkarım hizmetlerine kötü amaçlı bir yapay zeka modeli yüklemenin ve ardından dahili altyapıları içinde yanal hareketi kolaylaştırmanın mümkün olduğunu gördük” dedi.
Şu anda bir yapay zeka modelinin orijinalliğini doğrulamanın veya onu normal kod testinin ötesinde güvenlik tehditlerine karşı taramanın kesin bir yolu yok.