AI/ML Güvenliğinde İlk Adım Hepsini Bulmaktır


Güvenlik ekiplerinin artık bu yapay zeka bileşenlerinin oluşturduğu riskleri değerlendirmesi ve yönetmesi gerektiğinden, yapay zeka yeteneklerini ve makine öğrenimi modelleriyle çalışmayı kolaylaştıran araçları içeren artan sayıda uygulama, kuruluşlar için yeni yazılım tedarik zinciri sorunları yarattı. Güvenlik ekipleri yazılım tedarik zincirine bakıyor ve açık kaynak bileşenleri hakkında düşünüyor ancak makine öğreniminin bunun bir parçası olduğunu kabul etmeleri ve kuruluşun güvenlik kontrollerini ve veri yönetimi politikalarını yapay zekanın halihazırda mevcut olduğu gerçeğini yansıtacak şekilde ayarlamaları gerekiyor.

Berryville Makine Öğrenimi Enstitüsü’nün kurucu ortağı Gary McGraw, kuruluşlarda yapay zekanın artan kullanımıyla ilgili en büyük zorluklardan birinin aslında kurumsal savunucuların yıllardır uğraştığı gölge BT sorununun aynısı olduğunu söylüyor. Gölge ML ve gölge yapay zekanın var olmasının nedeni, birçok kuruluşta, iş gruplarında ve bireysel çalışanların, iş süreçlerinin bir parçası olarak makine öğrenimi uygulamalarını ve yapay zeka araçlarını seçip benimsemeleridir. Güvenlik ekipleri genellikle bu araçlar kuruluşa getirildiğinde bilgilendirilmez ve görünürlüğün olmaması, onları yönetememeleri veya kullanılan verileri koruyamamaları anlamına gelir.

Legit Security’nin danışma kurulu üyesi olan McGraw, AI kullanımına ilişkin sorunun büyük bir Fortune 100 şirketi ve uygulama güvenliği girişimi Legit Security’nin yöneticileriyle yakın zamanda yapılan bir toplantıda gündeme geldiğini söylüyor. Legit Security’nin geliştirmeden teslimata kadar tüm yazılım geliştirme yaşam döngüsünü haritalandıran platformu, kullanılan her araç ve uygulamada görünürlüğe sahiptir. McGraw, “CISO, ‘Politika gereği makine öğrenimine izin vermiyoruz. Kimse bunu kullanmıyor’ dedi ve ekip, makine öğreniminin ve yapay zekanın aslında birden fazla örneğinin kullanıldığını göstermek için platformu kullanabildi.

Hangi makine öğreniminin ve yapay zekanın kullanıldığını bilmemek giderek artan bir endişe kaynağı ve sadece bu şirketle sınırlı değil. Yakın zamanda yapılan bir Dark Reading araştırma anketinde, ankete katılanların %74’ü, araçların resmi olarak yetkilendirilmemiş olmasına rağmen çalışanların ChatGPT gibi kamuya açık üretken yapay zeka araçlarını iş amacıyla kullandıklarına inandıklarını söyledi. Ankete katılanların yaklaşık beşte biri (%18), çalışanların halka açık üretken yapay zeka araçlarını kullanmasını engelleyemediklerini yapay zekayla ilgili en önemli beş endişesinden biri olarak sıraladı.

Yapay Zeka Nasıl Bulunur?

Legit Security’nin kurucu ortağı ve CTO’su Liav Caspi, Legit Security’nin, kod oluşturmak için yapay zekayı kullanmak veya büyük dil modellerini ürünlere yerleştirmek gibi üretken yapay zeka teknolojilerinin yazılım geliştirmeyi nasıl değiştirdiğini incelediğini söylüyor. Kuruluşun yazılımı nasıl geliştirip teslim ettiğini gösteren platform haritalamasının yan ürünü, kullanılan tüm açık kaynak ve kapalı kaynak yazılım bileşenlerinin, oluşturma araçlarının, çerçevelerin, eklentilerin ve hatta geliştiricilerin kullandığı sunucuların “çok ayrıntılı bir envanteridir”. Caspi diyor. Yeni teknoloji her zaman kuruluşun teknoloji yığınına yukarıdan aşağıya bir şekilde dahil edilmediğinden, bu varlık kataloğu genellikle yöneticilerin kullanımdaki tüm yazılım bileşenleri ve geliştirici araçları hakkında ilk kez bilgi edindiği zamandır.

McGraw, “İnsanların durumun böyle olduğunu düşündüğü şeyle gerçekte olanın bazen örtüşmediği ortaya çıktı” diyor. “CISO’ya ya da yazılım güvenliğinden sorumlu kişiye ‘Hey, bunlardan altı tane olduğunu biliyor muydunuz’ dediğinizde, ‘Sadece iki tane olduğunu sanıyordum’ diyorlar.”

Legit Security, kurumun kaç tane hata takip sistemi çalıştırdığı, kaç GitHub örneğinin kurulduğu, kaç tane JIRA örneğinin bulunduğu veya hangi geliştiricilerin hangi derleyicileri kullandığı gibi soruların yanı sıra geliştiricilerin nerede olduğu gibi soruları da yanıtlıyor. Büyük dil modellerinin kullanılması, hangi uygulamaların hangi yapay zeka hizmetine bağlandığı, bu hizmetlere hangi verilerin gönderildiği ve gerçekte hangi modellerin kullanıldığı. Caspi, diğer hizmetlere herhangi bir verinin gönderilip gönderilmediği sorusunun düzenlemeye tabi sektörlerdeki kuruluşlar için özellikle önemli olduğunu söylüyor.

“[We] Büyük kuruluşların bilmediği şeyleri keşfettik, sanki belirli bir kütüphaneyi kullandıklarını bilmiyorlardı. Caspi, kodu yurtdışındaki bir hesaba kopyalayan geliştiricilerin bulunduğunu bilmiyorlardı” diyor.

Caspi, bir başka endişe konusunun da kuruluşun yapay zeka tarafından oluşturulan herhangi bir koda güvenip güvenmediği olduğunu, bunun geliştiricilerin kod yazmasına yardımcı olan çeşitli araçların ve yardımcı pilotların kullanıma sunulmasıyla daha alakalı hale geldiğini söylüyor Caspi. Dark Reading anketinde yanıt verenlerin %28’i yapay zeka tarafından oluşturulan koddaki olası güvenlik açıklarına ilişkin endişelerini dile getirdi. Orada

Şu anda platform, yapay zekanın dokunduğu tüm parçaları belirlemek için geliştirme altyapısını tarıyor. Depoları inceler ve uygulamalara gömülü LLM’leri, kod oluşturma araçlarının kullanılıp kullanılmadığını, hangi yazılım kitaplıklarının eklendiğini, hangi API çağrılarının yapıldığını ve ne tür lisansların kullanıldığını tespit eder. Örneğin, huggingface, makine öğrenimi modellerini oluşturmak ve birleştirmek için yazılım geliştirme projelerinde yaygın olarak kullanılmaktadır. Caspi, güvenlik ekiplerinin sürüm numaralarının yanı sıra modellerin nasıl uygulandığını da düşünmesi gerektiğini söylüyor.

ML’nin Güvenliği Nasıl Sağlanır?

Makine öğrenimini uygun şekilde güvence altına almak için kuruluşun üç şeyi yapabilmesi gerekir: makine öğreniminin nerede kullanıldığını bulmak, bulunana göre riski modellemek ve bu riskleri yönetmek için kontroller koymak. “Makine öğrenimini bulmamız gerekiyor [and] Bulduğunuz şeye göre bir tehdit modeli yapın” diyor McGraw. “Bazı şeyler buldunuz ve şimdi tehdit modelinizin ayarlanması gerekiyor. Tehdit modelinizi oluşturduktan ve bazı riskleri ve tehditleri belirledikten sonra, tüm bu sorunlara yönelik bazı kontroller uygulamanız gerekir.”

Caspi, güvenlik ekibinin ne kullanıldığını öğrendikten sonra bileşeni bloke edebileceğini veya geliştirme sürecine güvenlik kontrolleri veya “korkuluklar” eklemek için uygun politikayı belirleyebileceğini belirtiyor. Örneğin, kod tabanına sorunların getirilmediğinden emin olmak için bir uygulamanın, birisi otomatik olarak oluşturulan kodu incelemeden üretime geçmesi mümkündür. Kod bloğu aslında herhangi bir güvenlik açığı içermeyebilir, ancak güvenlik ekipleri, otomatik olarak oluşturulan kodun kod tabanıyla birleştirilmeden önce iki kişi tarafından incelenmesini gerektiren bir politika oluşturabilir, diyor. Caspi, “Bir korkuluğun eksik olduğunu size söyleyecek çok sayıda tespitimiz var” diyor. Caspi, güvenlik ekibinin “bulduğumuz şey hakkında mümkün olduğunca fazla bilgi aldığını”, böylece bilgileri bir tür eylemde bulunmak için kullanabileceklerini söylüyor. Bazı durumlarda, en iyi eylem planının veya en iyi uygulamaların ne olacağına dair bazı rehberlikler olacaktır.

Bu üç şeyin hepsini birden gerçekleştirebilecek tek bir araç veya platform yok, ancak McGraw her alana karşılık gelen üç şirketin danışma kurullarında yer alıyor. Legit Security her şeyi bulur, IriusRisk tehdit modellemeye yardımcı olur ve Calypso AI kontrolleri uygulamaya koyar. McGraw, “Tüm parçaların hareket ettiğini görebiliyorum” diyor. “Bütün parçalar bir araya geliyor.”





Source link