Bu Help Net Security röportajında Noma Security CEO’su Niv Braun, veri ve yapay zeka yaşam döngüsü boyunca yapay zeka süreçlerinin, araçlarının ve ekiplerinin parçalı yapısı nedeniyle güvenlik ekiplerinin karşılaştığı zorlukları tartışıyor.
Braun ayrıca kuruluşların bu zorluklarla nasıl başa çıkabileceği ve yapay zeka güvenlik duruşlarını nasıl iyileştirebileceğine dair içgörülerini de paylaşıyor.
Büyüyen yapay zeka modelinin yayılması yönetimi nasıl etkiliyor ve uyumluluk risklerini azaltmak için hangi stratejiler uygulanıyor?
Yapay zekaya yeni odaklanma, ekiplerin uygulamalarında yapay zekanın gücünden yararlanmak için kullandıkları ve oluşturdukları süreçlerin, araçların ve teknolojinin temel yaşam döngüsünü ön plana çıkardı. Bu verileri ve yapay zeka yaşam döngüsünü çalıştıran veri mühendisliği ve makine öğrenimi ekipleri, yazılım geliştirme ekiplerinden tamamen ayrıdır ve AppSec ekiplerinin çalışmalarına ilişkin görünürlükleri yoktur ancak yine de bunların güvenliğini sağlamaktan sorumludurlar.
Geleneksel AppSec araçları (SAST, DAST, SCA, API Güvenliği, WAF) bu yeni yaşam döngüsünü desteklemediğinden, AppSec ekipleri kabul edilebilir kullanımı yönetemez veya verilerden ve yapay zeka tedarik zinciri yanlış yapılandırmalarından ve GenAI’ya yönelik savunmasız açık kaynak modellerinden kaynaklanan yeni risklere karşı koruma sağlayamaz. tehditler. Yönetişim kontrollerini uygulamaya koymanın ve yeni yapay zeka saldırı yüzeyini güvence altına almanın ilk adımı görünürlüktür.
Yapay zeka iş yüklerinin birden fazla bulut sağlayıcıya (Azure, AWS, GCP) yayılmasıyla, güçlü bir yapay zeka güvenlik duruşunu sürdürmenin kritik zorlukları nelerdir?
Bu harika bir soru ama bulut altyapısının ötesine geçiyor. Bazı CSPM’ler bulutta yapay zekanın güvenliğini sağlamaya yönelik çözümler sunarken, yapay zeka saldırı yüzeyi bulutta barındırılan hizmetlerin ötesine uzanıyor. Pek çok bileşen kendi kendine barındırılır veya SaaS tabanlıdır ve benzersiz geliştirme ortamlarına (örn. Jupyter Notebook’lar), veri hatlarına ve MLOps araçlarına (örn. Databricks, Airflow), açık kaynak bileşenlere (örn. Hugging Face), hizmet olarak yapay zeka kullanımı (örn. OpenAI) ve çalışma zamanındaki yapay zeka modelleri.
Verilerin ve yapay zeka yaşam döngüsünün (veri iyileştirme ve eğitimden model geliştirme ve operasyona kadar) farklı aşamalarını kapsayan bu araçların, bileşenlerin ve risklerin yayılması, kapsamlı güvenlik kapsamının eksikliği ile birleştiğinde, güvenlik ekiplerinin Güçlü AI güvenlik duruşu.
Kuruluşlar, özellikle hassas bilgilerle uğraşırken yapay zeka çıkarımı ve eğitiminde kullanılan verileri nasıl koruyabilir?
AI/ML model eğitimi için verilerin kullanımının güvenliğini sağlamak ve yönetmek, belki de AI güvenliğindeki en zorlu ve acil konudur. Eğitim veya ince ayar süreci sırasında gizli veya korumalı bilgilerin kullanılması, verilerin model çıkarma teknikleri veya yaygın rakip teknikler (örn. hızlı enjeksiyon, jailbreak) kullanılarak kurtarılabilmesi riskini beraberinde getirir. Geliştirme sırasında verileri korumak için veri güvenliği ve en az ayrıcalıklı erişim en iyi uygulamalarını takip etmek önemlidir, ancak model yanıtları aracılığıyla verilerin sızmasını önlemek için özel yapay zeka çalışma zamanı tehdit algılama yanıtı gereklidir.
Veriler ve yapay zeka söz konusu olduğunda bir diğer endişe de verilerin eğitim için kullanılmasıdır. Giderek daha fazla müşteri, verilerinin model eğitimi amacıyla kullanılıp kullanılmadığını bilmek istiyor ve bu, şu anda çoğu kuruluş için anlaşılması oldukça zor. Tüm veri ve yapay zeka yaşam döngüsü boyunca ML-BOM’lar aracılığıyla uçtan uca veri ve model kökeni takibi (ayrıntılı politikalar ve otomatik uygulamayla birlikte) eğitim verileri kullanımını yönetmenin tek yoludur.
Kuruluşlar, dağıtım sonrası yapay zeka sistemi izlemeye nasıl yaklaşmalı ve yapay zeka ile ilgili olaylara yanıt vermek için hangi mekanizmalar gereklidir?
Üretimde yapay zeka uygulamalarının güvenliğini sağlamak, temeldeki altyapının güvenliğini sağlamak kadar önemlidir ve güvenli bir veri ve yapay zeka yaşam döngüsünü sürdürmenin önemli bir bileşenidir. Bu, güvenlik ve emniyet tehditlerini tanımlamak, bildirmek ve engellemek için hem istemlerin hem de yanıtların gerçek zamanlı izlenmesini gerektirir.
Sağlam bir yapay zeka güvenlik çözümü, anında enjeksiyon gibi düşmanca saldırıları önler, bir model yanıtı yoluyla sızmayı önlemek için hassas verileri maskeler ve ayrıca önyargı, adalet ve zararlı içerik gibi güvenlik endişelerini giderir. Ayrıca, üretim modellerinin organizasyonel politikaları ihlal etmesini önlemek ve rakipler hakkında tartışmalar veya finansal veya tıbbi tavsiyeler vermek gibi konu dışı oturumları önlemek için ayrıntılı, uygulamaya özel güvenlik korkuluklarını yapılandırmanıza ve uygulamanıza da olanak tanımalıdır.
Hugging Face gibi kaynaklardan açık kaynaklı yapay zeka modellerini kullanmanın potansiyel riskleri nelerdir?
Veri mühendisliği ve makine öğrenimi ekipleri, açık kaynak modellerini veya yazılım geliştiricilerin açık kaynak paketleri/bağımlılıkları kullanmasıyla aynı nedenleri kullanır: standart kodu en aza indirmek ve geliştirmeyi hızlandırmak.
Açık kaynaklı yapay zeka ekosistemi, modellerin ve veri kümelerinin kolayca paylaşılmasını ve indirilmesini sağlayan Hugging Face gibi platformlarla patlamaya başlıyor. Ancak bu bileşenler açık kaynaklı paketlerle benzer risklere sahip olabilir. Savunmasız veya kötü amaçlı modeller, kaynak koduna, Not Defterlerine, veri hatlarına veya veri ve yapay zeka yaşam döngüsü boyunca başka yerlere sızarak kötü aktörlerin hassas verilere, sistemlere ve IP’ye, uzaktan kod yürütmeye veya arka kapılara yetkisiz erişim sağlamasına neden olabilir.