Açık kaynak yazılım (OSS) için bir hata ödül programı olan Huntr’ın yapımcısı olan AI, AI/ML güvenlik araçlarından üçünü izin verilen Apache 2.0 koşulları kapsamında lisanslayarak OSS dünyasında daha da ileriye gidiyor.
Şirket, veri bilimcilerin tercih ettiği yaygın bir uygulama olan Jupyter Notebooks’ta geliştirilen makine öğrenimi projelerini korumak için ilk araç olan NB Defense’i geliştirdi. Yaygın olarak kullanılmaya başlandıkça, kod ve paketleri test etmek için kullanılan bir aracın doğasında bulunan güç nedeniyle bilgisayar korsanları Jupyter’ı hedef almaya başladı. Buna yanıt olarak Protech AI, Not Defterlerini sırlar, kişisel olarak tanımlanabilir bilgiler (PII), CVE riskleri ve kısıtlayıcı üçüncü taraf lisanslarına tabi kodlar gibi güvenlik açıklarına karşı taramak için bir çift araç olan NB Defense’i geliştirdi. JupityrLab uzantısı bir Not Defteri içindeki güvenlik sorunlarını bulur ve düzeltir; CLI aracı ise birden fazla Not Defterinin aynı anda taranmasına ve merkezi bir depoya yüklenenlerin otomatik olarak taranmasına olanak tanır.
İkinci araç olan ModelScan, giderek daha fazla şirketin dahili kullanım için AI/ML araçlarını geliştirmesi nedeniyle ekiplerin ML modellerini İnternet üzerinden paylaşma ihtiyacından doğdu. ModelScan, kimlik bilgisi hırsızlığı, veri zehirlenmesi, model zehirlenmesi ve ayrıcalık yükseltme (burada modelin diğer şirket varlıklarına saldırmak için silah haline getirildiği) gibi model serileştirme saldırıları için Pytorch, Tensorflow, Keras ve diğer formatları tarar.
Üçüncü araç olan Rebuff, Koruma AI’nın Temmuz 2023’te satın aldığı ve geliştirmeye devam ettiği mevcut bir açık kaynak projesiydi. Rebuff, bir saldırganın çıktıları manipüle etmek, hassas verileri açığa çıkarmak ve yetkisiz eylemlere izin vermek için büyük dil modellerine (LLM’ler) kötü amaçlı girdiler gönderdiği anlık enjeksiyon (PI) saldırılarını ele alır. Kendi kendini güçlendiren istem enjeksiyon tespit çerçevesi dört savunma katmanı kullanır: potansiyel olarak kötü amaçlı girdiyi modele ulaşmadan önce filtreleyen buluşsal tarama; potansiyel saldırıları belirlemek için gelen istemleri analiz eden özel bir Yüksek Lisans; daha sonra benzer saldırıları tanımasına ve savuşturmasına yardımcı olan, bilinen saldırılardan oluşan bir veritabanı; ve sızıntıları tespit etmeye yönelik istemleri değiştiren kanarya belirteçleri.
Yapay zeka ve Yüksek Lisans’ın çeşitli büyüklükteki kuruluşlara yayılması, bu tür modellerin güvenliğini sağlamaya veya bunlara saldırmaya yönelik araçlarda da benzer bir artışa yol açtı. Örneğin, RSA Konferansı İnovasyon Sandbox’ının bu yılki kazananı HiddenLayer, bu modellerin misyonunu değiştirilmeye karşı güvenceye alınmasını sağladı. Microsoft, 2021’de yapay zeka sistemlerini düşmanca saldırılara karşı korumaya yönelik bir güvenlik çerçevesi ve kendi açık kaynak araçlarını yayınladı. TorchServe’de az önce duyurulan kusurlar, Walmart ve üç büyük bulut hizmeti sağlayıcısı gibi en büyük oyuncuların bile gerçek dünyadaki risklerini vurguluyor.
Koruma AI araçlarının üçü de (NB Defense, ModelScan ve Rebuff) GitHub’da mevcuttur.