Bu Help Net Security röportajında, Koruma AI CEO’su Ian Swanson, “tasarım yoluyla güvenli yapay zeka” kavramını tartışıyor. Kuruluşlar, Makine Öğrenimi Güvenlik Operasyonları (MLSecOps) gibi çerçeveleri benimseyerek ve şeffaflığa odaklanarak hem güvenli hem de güvenilir, dayanıklı yapay zeka sistemleri oluşturabilir.
“Tasarım yoluyla yapay zekayı güvenli hale getirme” fikri daha belirgin hale geliyor. Bu pratikte neye benziyor? Kuruluşların yapay zeka gelişiminin ilk aşamalarından itibaren güvenliği nasıl entegre edebileceğine dair spesifik örnekler verebilir misiniz?
Yapay zeka sistemlerinin emniyetli, emniyetli ve güvenilir olmasını sağlamak, yapay zeka/makine öğrenimini sıfırdan güvenli bir şekilde oluşturmakla başlar. Güvenliği yapay zeka geliştirmeye dahil etmek, model serileştirme saldırılarından büyük dil modeli jailbreak’lerine kadar benzersiz tehditlerin ele alınmasını gerektirir.
Kuruluşlar, makine öğrenimi malzeme listesi (MLBOM) kullanarak ML modellerini ve ortamlarını kataloglayarak ve sürekli olarak güvenlik açıklarını tarayarak başlayabilir.
Yapay zeka uygulamalarını destekleyen makine öğrenimi modelleri savunmasız olabilir ve geliştirme yaşam döngüsünün birçok aşamasında risk oluşturabilir. Nisan 2024’te Amerika Siber Savunma Ajansı, modellerin kurumsal ortamda hemen çalıştırılmaması ve olası kötü amaçlı kodları tespit etmek için yapay zekaya özgü tarayıcıların kullanılması konusunda bir uyarı içeren Yapay Zeka Sistemlerinin Güvenli Bir Şekilde Dağıtılmasına İlişkin Ortak Kılavuz yayınladı. CI/CD işlem hattınızın bir parçası olarak yaşam döngüsünün her adımında makine öğrenimi modellerini kötü amaçlı kodlara karşı taramak kritik öneme sahiptir. Bu sürekli risk değerlendirmesi, modellerin yaşam döngülerinin hiçbir aşamasında tehlikeye atılmamasını sağlar.
Güvenli bir yaklaşım aynı zamanda makine öğrenimi mühendislerinin ve veri bilimcilerinin güvenli kodlama uygulamaları konusunda eğitilmesini, sıkı erişim kontrollerinin uygulanmasını ve geliştirme ortamları olarak güvenli olmayan Jupyter Not Defterlerinden kaçınılmasını da içerir. Önce kod yaklaşımının uygulanması, yapay zeka hattı boyunca görünürlük ve hesap verebilirlik sağlar.
Son olarak, kırmızı takım yeteneklerinin oluşturulması, yapay zeka uygulamalarındaki hızlı ekleme saldırıları gibi güvenlik açıklarının test edilmesine yardımcı olur. MLSecOps yaklaşımıyla güvenlik, veri bilimi ve operasyon ekipleri arasındaki işbirliği, ortaya çıkan tehditlere dayanabilecek dayanıklı yapay zeka sistemleri oluşturur.
Kuruluşlar, NCSC veya MITRE gibi çerçevelere göre güvenli yapay zeka sistemleri tasarlarken hangi temel ilkeleri dikkate almalıdır?
Güvenli yapay zeka sistemlerini NCSC, MITRE, NIST ve OWASP gibi çerçevelerde belirtilen temel ilkelere göre tasarlamak için kuruluşların şeffaflık ve denetlenebilirliğe, GDPR gibi gizlilik düzenlemelerine uymaya ve kapsamlı risk değerlendirmeleri yürütmeye odaklanması gerekir. Eğitim verilerinin güvenliğini sağlamak, modelleri güvenlik açıklarına karşı sürekli izlemek ve tedarik zinciri tehditlerini ele almak çok önemlidir.
Ayrıca kırmızı takım testi, tehdit modelleme gibi uygulamaların benimsenmesi ve MLSecOps gibi güvenli bir geliştirme yaşam döngüsünün takip edilmesi, yapay zeka sistemlerinin ortaya çıkan güvenlik risklerine karşı korunmasına yardımcı olacaktır.
Yapay zeka sistemleri daha geniş çapta benimsendikçe ufukta hangi yeni veya ortaya çıkan tehditleri görüyorsunuz? Kuruluşlar bu gelişen risklere en iyi şekilde nasıl hazırlanabilir?
Yapay zeka sistemleri daha yaygın olarak benimsendikçe, tedarik zincirinde ortaya çıkan tehditleri, makine öğrenimi modellerinde gizli görünmez saldırıları ve GenAI uygulamalarının tehlikeye atıldığını, bunun da teknik, operasyonel ve itibar açısından kurumsal risklere yol açtığını görüyoruz.
Kuruluşlar, sağlam bir MLSecOps stratejisi benimseyerek, güvenliği yapay zeka yaşam döngüsünün erken safhalarına entegre ederek, makine öğrenimi modellerini ve yapay zeka uygulamalarını risklere karşı sürekli tarayarak ve ekiplerini MLSecOps temelleri gibi kurslarla eğiterek en iyi şekilde hazırlanabilir. Kuruluşlar, derleme süreçlerinizi tasarım gereği güvenli olacak şekilde güncelleyerek, yapay zekaya özel güvenlik çözümleri kullanarak ve yapay zeka güvenlik bilgisini yükselterek, gelişen yapay zeka/makine öğrenimi tehditlerine karşı dayanıklılık geliştirebilir.
Çoğunlukla kritik altyapı ve hassas verilerle ilgilenen kamu sektörü kuruluşları yapay zeka güvenliğine özel sektörden farklı bir şekilde nasıl yaklaşmalı?
Kritik altyapılardan ve hassas verilerden sorumlu olan kamu sektörü kuruluşlarının yapay zeka güvenliğine özel sektöre kıyasla çok daha dikkatli yaklaşması gerekiyor. Ulusal güvenliğin, kamu güvenliğinin veya temel hizmetlerin aksaması gibi ihlallerin potansiyel sonuçları, daha proaktif bir duruş gerektirir.
Bu kuruluşların, bulut güvenliği için NIST yönergeleri veya FedRAMP gibi belirli hükümet yönergeleri gibi daha katı uyumluluk çerçevelerini benimsemesi, uçtan uca şifreleme ve sağlam erişim denetimleri sağlaması gerekir. Dahası, kamu sektörü kuruluşlarının, geliştirmenin ilk aşamalarından itibaren “tasarım gereği güvenli” ilkelerini takip ederek şeffaflık ve denetlenebilirliği göz önünde bulundurarak yapay zeka modelleri oluşturmaları gerekiyor.
Kamu sektörü yapay zeka sistemleri aynı zamanda yeni güvenlik açıklarını hızlı bir şekilde ele almak için sağlam olay müdahale planlarına sahip olmalıdır. Düzenli kırmızı ekip testleri, tehdit modelleme ve kurumlar arası işbirliği, riskleri azaltmak için çok önemlidir. Aslında, çeşitli devlet kurumlarıyla yaptığımız çalışmalar, onların güvenli AI/ML gelişimini yönetmeye ve ortaya çıkan tehditlere yanıt vermeye yönelik MLSecOps süreçleriyle donatılmasına yardımcı oluyor.
Devlet kurumlarında yapay zeka sistemlerini korumak için tasarlanan standartların ve önerilerin geliştirilmesine kişisel olarak katkıda bulundum ve kamu sektörü kuruluşlarının gelişen risklerin önünde kalmasına yardımcı oldum.
Kamu sektörü, bu işbirlikçi çabalara bağlı kalarak ve önce güvenlik yaklaşımlarını benimseyerek, kritik yapay zeka sistemlerini etkili bir şekilde koruyabilir.
Açıklanabilirlik ve şeffaflık, yapay zeka güvenliği için giderek daha önemli görülüyor. Kuruluşlar yapay zeka sistemlerinin güvenli ve paydaşlara açıklanabilir olmasını nasıl sağlayabilir?
Yapay zeka sistemlerinin hem güvenli hem de açıklanabilir olmasını sağlamak için kuruluşların şeffaf model geliştirme ve yönetişim uygulamalarını uygulamaları gerekir. İlk olarak, çıktıların nasıl türetildiğini açıklayan Açıklanabilir Yapay Zeka (XAI) teknikleri gibi model kararlarını yorumlanabilir hale getiren çerçeveleri benimsemeleri gerekir. Ek olarak, MLSecOps yaklaşımının kullanılması sistem davranışının sürekli izlenmesini sağlayarak hem güvenliği hem de şeffaflığı artırır.
Veri bilimcileri, güvenlik ekipleri ve iş paydaşları arasındaki işbirliği çok önemlidir; risklerin, sınırlamaların ve kararların teknik olmayan paydaşlar için anlaşılır bir şekilde iletilmesini sağlar.
Son olarak kuruluşlar, hesap verebilirlik ve izlenebilirlik sağlamak ve paydaşların sistemin çıktılarına güvenmesine yardımcı olmak için modellerinin eğitim verilerini, varsayımlarını ve karar yollarını belgelendirmelidir.