Yapay Zeka Tabanlı Saldırılar, Yapay Zeka ve Makine Öğrenimi, Dolandırıcılık Yönetimi ve Siber Suçlar
Bilgisayar Korsanları, ML Modeli Çıktısını Değiştirmek ve Verileri Çalmak İçin Saldırı Yöntemini Kullanabilir
Rashmi Ramesh (raşmiramesh_) •
17 Haziran 2024
Güvenlik araştırmacıları, bilgisayar korsanlarının verileri çalmasına ve yapay zeka biriminin çıktısını manipüle etmesine olanak tanıyan makine öğrenimi modellerini zehirlemenin yeni bir yolunu buldu.
Ayrıca bakınız: Küçük İşletme Güvenlik Duvarı Kılavuzu
Trail of Bits’teki araştırmacılar, bilgisayar korsanlarının Sleepy Pickle saldırı yöntemini kullanarak serileştirme sürecine kötü amaçlı kod ekleyebileceğini söyledi. Bu erişimle, bir bilgisayar korsanı teorik olarak verileri çalabilir, kötü amaçlı bir yük çalıştırabilir ve makine öğrenimi modellerindeki çıktıları, diğer tedarik zinciri saldırı yöntemlerine kıyasla daha yüksek bir kalıcılıkla manipüle edebilir.
Serileştirme, bir Python veri nesnesini sistemde depolanacak bir bayt dizisine dönüştürme işlemidir. Buna “dekapaj” işlemi de denir. Pickle formatı, bilinen risklere rağmen ML modellerini paketlemenin ve dağıtmanın en popüler yollarından biri olmaya devam ediyor.
Trail of Bits, Sleepy Pickle’ın “bir kuruluşun ML modellerini dağıtırken sistemlerini hedef alan önceki istismar tekniklerinin ötesine geçerek ML modelinin kendisini gizlice tehlikeye atarak saldırganın kuruluşun modeli kullanan son kullanıcılarını hedef almasına olanak sağladığını” söyledi.
Saldırı süreci basittir. Saldırganlar, kötü amaçlı turşu dosyaları oluşturmak için açık kaynaklı kararsızlık gibi sıklıkla tespit ve analiz için kullanılan programları veya araçları kullanabilir. Daha sonra hedefi, kimlik avı, ortadaki adam veya tedarik zinciri saldırıları yoluyla zehirli dosyayı indirmeye ikna edebilirler ve kullanıcı, kötü amaçlı kodu içeren veri nesnesinin serisini kaldırana ve yükü çalıştırana kadar tespit edilmeden kalabilirler.
Bu saldırı yöntemiyle hacker’ın bir sisteme yerel veya uzaktan erişimi olmasına gerek yoktur. Kötü amaçlı yazılım saldırısına dair hiçbir iz yok. Serileştirilmiş modeller genellikle büyük olduğundan, kötü amaçlı kodun küçük bir parçasının toplam dosya boyutunda tespit edilmesi kolay olmayabilir.
Bilgisayar korsanları, kullandıkları kötü amaçlı veriyi kişiselleştirdikçe tespit edilmesini de zorlaştırabiliyor.
Savunmacıların korumalı alan oluşturma, izolasyon, ayrıcalık sınırlaması, güvenlik duvarları ve çıkış trafiği kontrolü gibi kontrolleri varsa, Sleepy Pickle’ın verebileceği hasarın ciddiyeti düşüktür.
Ancak bilgisayar korsanları, modeli arka kapılar eklemek veya çıktısını değiştirmek gibi yöntemlerle manipüle etmek için bu yöntemi kullanabilirler. Rapor, kötü aktörlerin bu yöntemi kullanarak çamaşır suyu içmenin gribi iyileştirebileceğini öne sürdüğünü anlatıyor. Saldırganlar ayrıca zehirli modeli verileri çalabilecek, kullanıcıları kimlik avına çıkarabilecek ve yanlış bilgi gönderebilecek kötü amaçlı yazılımları yürütmek için de kullanabilir.
Araştırmacılar, turşudan daha güvenli bir dosya formatı kullanmak dışında kuruluşların bu riskleri önlemek için yapabileceği pek bir şey olmadığını söyledi. Güvenilir kuruluşlara ait modellerin kullanılmasını ve yapay zeka ve makine öğrenimi modellerinin güvenlik risklerinin tek başına değil bütünsel olarak değerlendirilmesini tavsiye ettiler.
Araştırmacılar, “AI/ML sistemlerinin güvenliğini sağlamaktan sorumluysanız, bunların saldırı yüzeyinin muhtemelen düşündüğünüzden çok daha büyük olduğunu unutmayın” dedi.