Protect AI, kuruluşların yapay zeka ve makine öğrenimi ortamlarını güvenlik tehditlerinden korumalarına yardımcı olmak için tasarlanmış bir dizi açık kaynaklı yazılım (OSS) aracını duyurdu.
Şirket, ML sistemlerindeki güvenlik açıklarını tespit eden ve Apache 2.0 lisansları aracılığıyla Veri Bilimcileri, ML Mühendisleri ve AppSec profesyonellerine ücretsiz olarak sunulan üç OSS aracını (NB Defense, ModelScan ve Rebuff) geliştirip sürdürerek AI/ML güvenliğine öncülük ediyor.
OSS, şirketlerin hızla yenilik yapmasına ve rekabet avantajını korumasına yardımcı olan en önemli bileşenlerden biri haline geldi. Kuruluşların uygulamalarında, özellikle de yapay zeka ve makine öğrenimi uygulamalarında kullandıkları yazılımların çoğunun temelini oluşturur. OSS açık avantajlar sunarken aynı zamanda doğası gereği güvenlik risklerini de beraberinde getiriyor.
Yazılım tedarik zincirini güvence altına almak için geniş çapta çaba gösterilmesine rağmen, AI/ML güvenliğine odaklanma gözden kaçırıldı. AI’yı koruyun, daha güvenli, yapay zeka destekli bir dünya oluşturmaya yardımcı olmaya kararlıdır ve bunu yaparak, yapay zeka/makine öğrenimi tedarik zincirini güvence altına almak için önemli adımlar attı.
OSS’deki AI/ML güvenlik açıklarını düzeltmeye odaklanan dünyanın ilk AI/ML hata ödül platformu olan Protect AI’s Huntr’ın yakın zamanda duyurulmasına ek olarak şirket aynı zamanda türünün ilk örneği olarak geliştirerek, sürdürerek ve yayınlayarak bu çabaya aktif olarak katkıda bulunuyor. OSS araçları AI/ML güvenliğine odaklandı. Bu araçlar arasında Jupyter dizüstü bilgisayar güvenliği için NB Defense, model yapıları için ModelScan ve LLM Prompt Injection Attacks için Rebuff yer alıyor.
Üçü de bağımsız araçlar olarak kullanılabilir veya ML Sistemlerine görünürlük, denetlenebilirlik ve güvenlik sağlayan Koruma Yapay Zeka Platformu’na entegre edilebilir. Koruma AI Platformu, kuruluşların benzersiz makine öğrenimi güvenlik tehditlerini tespit etmesine ve güvenlik açıklarını gidermesine yardımcı olan bir ML Malzeme Listesi (MLBOM) oluşturarak makine öğrenimi saldırı yüzeyine sektörde ilk kez bir bakış sağlıyor.
Koruma AI CEO’su Ian Swanson, “Çoğu kuruluş, ML Sistemlerinin ve Yapay Zeka Uygulamalarının güvenliğinin sağlanması söz konusu olduğunda nereden başlayacağını bilmiyor” dedi. “NB Defense, Rebuff ve ModelScan’i hoşgörülü açık kaynaklı projeler olarak herkesin kullanımına sunarak amacımız, yapay zekayı daha güvenli hale getirme ihtiyacı konusunda farkındalık yaratmak ve kuruluşların yapay zeka/ML uygulamalarını korumak için hemen kullanmaya başlayabilecekleri araçlar sağlamak.”
NB Savunma – Jupyter Notebook güvenliği
Jupyter Notebooks, hesaplamalı belgeler oluşturmaya ve paylaşmaya yönelik etkileşimli bir web uygulamasıdır ve çoğu veri bilimci için model denemelerinin başlangıç noktasıdır. Not defterleri, kodun hızlı bir şekilde yazılmasına ve yürütülmesine olanak tanır, makine öğrenimi merkezli açık kaynaklı projelerden oluşan geniş bir ekosistemden yararlanabilir, verileri veya modelleri etkileşimli olarak keşfetmeyi kolaylaştırır ve çalışmayı eşlerle paylaşma yetenekleri sağlar.
Kötü niyetli aktörler için bir tehdit vektörü oluşturan dizüstü bilgisayarlar, genellikle hassas verilere erişimin olduğu canlı ortamlarda bulunabilir. Piyasada bir dizüstü bilgisayarı tehditlere karşı tarayabilecek hiçbir ticari güvenlik teklifi olmadığından, Koruma AI, Jupyter Dizüstü Bilgisayarlar için ilk güvenlik çözümü olarak NB Defense’i geliştirdi.
NB Defense, not defterlerini ve/veya sorunları arayan projeleri tarayan bir JupyterLab Uzantısı ve aynı zamanda bir CLI aracıdır. Sızan kimlik bilgilerini, kişisel olarak tanımlanabilir bilgilerin (PII) ifşa edilmesini, lisans sorunlarını ve güvenlik açıklarını tespit eder. NB Defense, veri bilimi uygulamalarının güvenlik duruşunu iyileştirir ve makine öğrenimi verilerinin ve varlıklarının korunmasına yardımcı olur. NB Defense’i kullanmaya başlamak için bu bağlantıyı ziyaret edin.
ModelScan – ML modeli güvenlik tarayıcısı
ML modelleri internet üzerinden ekipler arasında paylaşılır ve kritik kararların alınmasında kullanılır. Ancak kod açıklarına karşı taranmıyorlar. Bir modeli dışa aktarma işlemine serileştirme denir ve başkaları tarafından kullanılmak üzere belirli dosyalar halinde paketlenmesini içerir. Model Serileştirme Saldırısında, serileştirme sırasında bir modelin içeriğine (Truva Atı’nın modern bir versiyonu) kötü amaçlı kod eklenir. Bunlar, birden fazla saldırı türünü yürütmek için kullanılabilecek güvenlik açıkları oluşturur.
Birincisi, bir ortamdaki diğer sistemlere veri yazılmasına ve okunmasına izin veren kimlik bilgisi hırsızlığıdır. İkincisi, modele gelen isteklere sızan veri hırsızlığı çıkarımı. Üçüncüsü, modelin sonuçlarını değiştiren Model Zehirlenmesi ve son olarak, modeli eğitim verileri gibi diğer varlıklara saldırmak üzere yükleyen ayrıcalık yükseltme saldırısıdır.
ModelScan, modellerin güvenli olmayan kod içerip içermediğini belirlemek için kullanılır ve H5, Pickle ve SavedModel dahil olmak üzere birden fazla formatı destekler. Bu, PyTorch, TensorFlow, Keras, Sklearn, XGBoost kullanırken kullanıcıları korur ve daha fazlası da yolda. ModelScan’i kullanmaya başlamak için bu bağlantıyı ziyaret edin.
Rebuff – Yüksek Lisans anında enjeksiyon saldırısı tespiti
Temmuz 2023’te, Koruma AI, LLM’leri kullanırken ekstra bir savunma katmanı ihtiyacını desteklemeye yardımcı olmak için Rebuff projesini satın aldı ve sürdürmeye başladı. İstemi enjeksiyon (PI) saldırıları, büyük dil modelleri (LLM’ler) üzerine kurulu uygulamaları hedef alan ve modellerden gelen çıktıları manipüle edebilen, hassas verileri açığa çıkarabilen ve saldırganların yetkisiz eylemler gerçekleştirmesine olanak tanıyan kötü amaçlı girişlerdir.
Rebuff, AI uygulamalarını PI saldırılarından korumaya yardımcı olan, açık kaynaklı, kendi kendini güçlendiren hızlı enjeksiyon algılama çerçevesidir. Çözüm, LLM uygulamalarını korumak için dört savunma katmanı kullanıyor. İlk olarak, potansiyel olarak kötü amaçlı girdiyi modele ulaşmadan önce filtreleyen buluşsal yöntem. İkincisi, gelen istemleri analiz etmek ve potansiyel saldırıları belirlemek için özel bir Yüksek Lisans.
Üçüncüsü, gelecekte benzer saldırıları tanımasını ve önlemesini sağlayacak, bilinen saldırılardan oluşan bir veritabanı. Dördüncüsü, sızıntıları tespit etmek için istemleri değiştiren canary belirteçleri; bu, çerçevenin, gelecekteki saldırıları önlemek için belirlenen kötü amaçlı istem için yeni yerleştirmeleri vektör veritabanına geri depolamasını sağlar. Rebuff’ı kullanmaya başlamak için bu bağlantıyı ziyaret edin.