Yazılım tedarik zinciri güvenliği sorununun bugün yeterince zor olduğunu düşünüyorsanız kemerlerinizi bağlayın. Yapay zeka kullanımındaki patlayıcı büyüme, önümüzdeki yıllarda bu tedarik zinciri sorunlarının yönetilmesini katlanarak daha da zorlaştıracak.
Geliştiriciler, uygulama güvenliği profesyonelleri ve DevSecOps profesyonelleri, uygulamalarına ve bulut altyapılarına entegre edilmiş açık kaynak ve özel bileşenlerin sonsuz kombinasyonları gibi görünen şeylerde gizlenen en yüksek riskli kusurları düzeltmeye çağrılıyor. Ancak hangi bileşenlere sahip olduklarını, hangilerinin savunmasız olduğunu ve hangi kusurların onları en fazla riske soktuğunu anlamak bile sürekli bir mücadeledir. Açıkçası, yazılımlarındaki bu bağımlılıkları olduğu gibi akılcı bir şekilde yönetmek için zaten mücadele ediyorlar.
Daha da zorlaşacak olan ise yapay zekanın duruma katacağı çarpan etkisidir.
Kendi Kendini Yürüten Kod Olarak Yapay Zeka Modelleri
Yapay zeka ve makine öğrenimi (ML) özellikli araçlar, diğer tüm uygulama türleriyle aynı yazılımdır ve bunların kodlarının da tedarik zinciri güvensizliklerinden zarar görmesi muhtemeldir. Bununla birlikte, AI yazılım tedarik zincirinin saldırı yüzeyini büyük ölçüde artıran karışıma başka bir varlık değişkeni daha ekliyorlar: AI/ML modelleri.
Koruma AI’nın kurucu ortağı Daryan Dehghanpisheh, “Yapay zeka uygulamalarını diğer tüm yazılım türlerinden ayıran şey, bir şekilde makine öğrenimi modeli adı verilen bir şeye dayanmasıdır” diye açıklıyor. “Sonuç olarak, makine öğrenimi modelinin kendisi artık altyapınızda bir varlık haline geldi. Altyapınızda bir varlık olduğunda, ortamınızı tarama, bunların nerede olduklarını, neler içerdiklerini, kimin izinlere sahip olduğunu ve kimlerin izinlere sahip olduğunu belirleme yeteneğine ihtiyacınız var. ne yapıyorlar ve eğer bunu bugün modellerle yapamıyorsanız, onları yönetemezsiniz.”
AI/ML modelleri, bir AI sisteminin kalıpları tanıma, tahminlerde bulunma, karar verme, eylemleri tetikleme veya içerik oluşturma yeteneğinin temelini sağlar. Ancak gerçek şu ki çoğu kuruluş, yazılımlarına gömülü tüm yapay zeka modellerine nasıl görünürlük kazandırmaya başlayacaklarını bile bilmiyor. Modeller ve etraflarındaki altyapı, diğer yazılım bileşenlerinden farklı şekilde oluşturulmuştur ve geleneksel güvenlik ve yazılım araçları, yapay zeka modellerinin nasıl çalıştığını veya kusurlu olduklarını taramak veya anlamak için tasarlanmamıştır. Onları benzersiz kılan şeyin bu olduğunu söyleyen Dehghanpisheh, bunların aslında kendi kendini çalıştıran gizli kod parçaları olduğunu açıklıyor.
Dehghanpisheh, “Bir model, tasarımı gereği, kendi kendini çalıştıran bir kod parçasıdır. Belirli bir düzeyde etkinliğe sahiptir” diyor. “Altyapınızın her yerinde göremediğiniz, tanımlayamayacağınız, ne içerdiklerini bilmediğiniz, kodun ne olduğunu bilmediğiniz varlıklar olduğunu ve bunların kendi kendine çalıştığını ve dış aramalar, bu şüpheli bir şekilde izin virüsüne benziyor, değil mi?”
Yapay Zeka Güvensizliklerinin Erken Gözlemcisi
Bu sorunun önüne geçmek, onun ve kurucu ortaklarının 2022’de, AI çağında ortaya çıkan model güvenliği ve veri kökeni sorunlarını ele almak için ortaya çıkan bir dizi yeni firmadan biri olan Protect AI’yı başlatmalarının arkasındaki büyük itici güçtü. Dehghanpisheh ve kurucu ortak Ian Swanson, daha önce AWS’de AI/ML çözümleri oluşturmak için birlikte çalışırken geleceğe dair bir fikir gördü. Dehghanpisheh, firmadaki AI/ML çözüm mimarlarının küresel lideriydi.
“AWS’de birlikte geçirdiğimiz süre boyunca, üretken yapay zekanın üst düzey yöneticilerden Kongre’ye kadar herkesin kalbini ve zihnini ele geçirmesinden çok önce, müşterilerin inanılmaz derecede hızlı bir şekilde yapay zeka/makine öğrenimi sistemleri kurduğunu gördük” diyor ve şöyle çalışıyor: bir dizi mühendis ve iş geliştirme uzmanıyla birlikte çalıştı ve ayrıca müşterilerle yoğun bir şekilde çalıştı. “İşte o zaman AI/ML sistemlerine özgü güvenlik açıklarının nasıl ve nerede olduğunu fark ettik.”
AI/ML hakkında siber güvenliğin geleceği açısından inanılmaz etkileri olan üç temel şeyi gözlemlediklerini söylüyor. Bunlardan ilki, benimseme hızının o kadar hızlı olmasıydı ki, kuruluştaki diğer herhangi bir gelişmeyi denetleyecek türden bir yönetişimden kaçan yapay zeka geliştirme ve iş kullanımı etrafında gölge BT birimlerinin ne kadar hızlı ortaya çıktığını ilk elden gördüler.
İkincisi, ticari veya açık kaynaklı olsun, kullanılan araçların çoğunluğunun, güvenlik kavramları konusunda hiç eğitim almamış veri bilimcileri ve gelecek vaat eden makine öğrenimi mühendisleri tarafından oluşturulmuş olmasıydı.
“Sonuç olarak, güvenlik öncelikli bir zihniyetle oluşturulmamış, gerçekten kullanışlı, çok popüler, çok dağıtılmış, yaygın olarak benimsenen araçlara sahip oldunuz” diyor.
Yapay Zeka Sistemleri ‘Önce Güvenlik’ Olarak Oluşturulmadı
Sonuç olarak, birçok AI/ML sisteminin ve paylaşılan aracın kimlik doğrulama ve yetkilendirme temellerinden yoksun olduğunu ve dosya sistemlerinde sıklıkla çok fazla okuma ve yazma erişimi sağladığını açıklıyor. Güvensiz ağ yapılandırmaları ve modellerdeki ve kuruluşlardaki bu doğal sorunlar, bu son derece karmaşık, anlaşılması zor sistemlerde ardı ardına gelen güvenlik sorunlarına takılıp kalmaya başlar.
“Bu, vardiya ne kadar sola giderseniz gidin, mevcut güvenlik araçlarının, süreçlerinin ve çerçevelerinin makine öğrenimi mühendislerinin, veri bilimcilerinin ve yapay zeka geliştiricilerinin ihtiyaç duyacağı bağlamı kaçırdığını fark etmemizi sağladı” diyor
Son olarak, kendisi ve Swanson’un AWS günlerinde yaptığı üçüncü büyük gözlem, yapay zeka ihlallerinin gelmeyeceğiydi. Zaten gelmişlerdi.
“Müşterilerin çeşitli AI/ML sistemlerinde yakalanması gereken ancak yakalanmayan ihlaller olduğunu gördük” diyor. “Bize, olay müdahale yönetimi unsurlarının yanı sıra setin ve süreçlerin, AI/ML’nin tasarlanma şekli için amaca yönelik olarak tasarlanmadığını söyledi. Üretken yapay zeka ivme kazandıkça bu sorun çok daha kötü hale geldi. “
Yapay Zeka Modelleri Yaygın Olarak Paylaşılıyor
Dehghanpisheh ve Swanson ayrıca modellerin ve eğitim verilerinin, yazılım tedarik zincirinin geri kalanı kadar ciddiye alınması gereken benzersiz bir yeni yapay zeka tedarik zinciri yarattığını da görmeye başladı. Tıpkı modern yazılım geliştirme ve bulut tabanlı yeniliklerin geri kalanında olduğu gibi, veri bilimcileri ve yapay zeka uzmanları, yapay zeka modelleri ve bunları eğitmek için kullanılan veriler de dahil olmak üzere, açık kaynak ve paylaşılan bileşenlerin yaygın kullanımı yoluyla yapay zeka/makine öğrenimi sistemlerindeki ilerlemeleri körükledi. Pek çok yapay zeka sistemi (ister akademik ister ticari olsun) başka birinin modeli kullanılarak oluşturulmuştur. Ve modern gelişimin geri kalanında olduğu gibi, yapay zeka gelişimindeki patlama da tedarik zinciri boyunca yeni model varlıklarının günlük olarak hızla çoğalmasına yol açıyor, bu da hepsini takip etmenin giderek zorlaştığı anlamına geliyor.
Mesela Hugging Face’i ele alalım. Bu, bugün çevrimiçi olarak açık kaynaklı yapay zeka modellerinin en yaygın kullanılan depolarından biridir; kurucuları, yapay zekanın GitHub’u olmak istediklerini söylüyor. Kasım 2022’de Hugging Face kullanıcıları 93.501 farklı modeli toplulukla paylaşmıştı. Bir yıl sonra, Kasım 2023’te bu sayı 414.695’e çıktı. Sadece üç ay sonra bu sayı 527.244’e çıktı. Bu, kapsamı gün geçtikçe büyüyen bir konudur. Dehghanpisheh, bunun yazılım tedarik zinciri güvenliği sorununu ‘steroidlere’ bağlayacağını söylüyor.
A son analiz Firması tarafından, Hugging Face’te açıkça paylaşılan ve model yükleme veya çıkarımda isteğe bağlı kod çalıştırabilen binlerce model bulundu. Hugging Face, güvenlik sorunları için deposunda bazı temel taramalar yaparken, bu süreçte gözden kaçırılan birçok model var; araştırmada keşfedilen yüksek riskli modellerin en az yarısı, platform tarafından güvensiz olarak değerlendirilmedi ve Hugging Face bunu belgelerde açıkça belirtiyor. Bir modelin güvenliğinin belirlenmesi nihai olarak kullanıcılarının sorumluluğundadır.
Yapay Zeka Tedarik Zincirini Ele Alma Adımları
Dehghanpisheh, yapay zeka çağında siber güvenliğin temel taşının ilk olarak yapay zeka soyunun yapılandırılmış bir anlayışının yaratılmasıyla başlayacağına inanıyor. Bu, esasen bu varlıkların kökeni ve geçmişi olan model kökenini ve veri kökenini, bunların nasıl değiştirildiğini ve bunlarla ilişkili meta verileri içerir.
“Başlayacak ilk yer burası. Göremediğiniz, bilemediğiniz ve tanımlayamadığınız şeyi düzeltemezsiniz, değil mi?” diyor.
Bu arada, günlük operasyonel düzeyde kuruluşların, yalnızca sistemin sağlamlaştırılmasını değil aynı zamanda çıktısının bütünlüğünü etkileyebilecek kusurları arayarak modellerini taramak için yetenekler geliştirmeleri gerektiğine inanıyor. Bu, örneğin otonom bir arabanın bir yayaya çarpması gibi gerçek dünyada fiziksel hasara neden olabilecek AI yanlılığı ve arıza gibi sorunları içerir.
“İlk şey taramanız gerekiyor” diyor. “İkinci şey, bu taramaları anlamanız gerektiğidir. Üçüncüsü, işaretlenen bir şeye sahip olduğunuzda, aslında o modelin etkinleştirilmesini durdurmanız gerekir. Etkinliğini kısıtlamanız gerekir.”
MLSecOps için Baskı
MLSecOps, geleneksel yazılım dünyasındaki DevSecOps hareketini yansıtan, satıcıdan bağımsız bir harekettir.
“DevOps’tan DevSecOps’a geçişe benzer şekilde, aynı anda iki şey yapmalısınız. Yapmanız gereken ilk şey, uygulayıcıların güvenliğin bir zorluk ve bunun ortak bir sorumluluk olduğunun farkına varmalarını sağlamaktır.” diyor. “Yapmanız gereken ikinci şey, veri bilimcilerini, makine öğrenimi mühendislerini, yapay zeka geliştiricilerini son teknolojide tutan ve sürekli yenilik yapan, ancak güvenlik endişelerinin arka planda kaybolmasına izin veren araçlara bağlam kazandırmak ve güvenliği yerleştirmektir.”
Buna ek olarak kuruluşların, güvensizlikler keşfedildiğinde meydana gelen eylemleri ve süreçleri yönetmeye yardımcı olacak yönetişim, risk ve uyumluluk politikaları ile uygulama yetenekleri ve olay müdahale prosedürlerini eklemeye başlaması gerektiğini söylüyor. Bu, tıpkı sağlam bir DevSecOps ekosisteminde olduğu gibi, MLSecOps’un da yönetici kademesine kadar iş paydaşlarının güçlü katılımına ihtiyaç duyacağı anlamına gelir.
İyi haber şu ki AI/ML güvenliği, başka hiçbir hızlı teknoloji yeniliğinin hemen elde edemediği bir şeyden, yani düzenleyici zorunluluklardan doğrudan yararlanıyor.
“Başka herhangi bir teknoloji geçişini düşünün. Bir federal düzenleyicinin veya hatta eyalet düzenleyicisinin bunu erkenden söylediğini söyleyin: ‘Vay, vay, vay, bana bunun içinde olan her şeyi anlatmalısın. Öncelik vermelisiniz’ Bu sistemin bilgisine sahip olmanız gerekir. Bir malzeme listesine öncelik vermelisiniz” diyor. “Hiç yok.”
Bu, birçok güvenlik liderinin, inovasyon yaşam döngüsünde çok daha erken bir zamanda yapay zeka güvenlik yeteneklerini geliştirme konusunda destek alma ihtimalinin daha yüksek olduğu anlamına geliyor. Bu desteğin en belirgin işaretlerinden biri, organizasyonlarda yeni iş fonksiyonlarının sponsorluğuna yönelik hızlı değişimdir.
“Düzenleyici zihniyetin masaya getirdiği en büyük fark, Ocak 2023’te yapay zeka güvenlik direktörü kavramının yeni olması ve mevcut olmamasıydı. Ancak Haziran ayına gelindiğinde bu rolleri görmeye başladınız” diyor. “Artık her yerdeler ve finanse ediliyorlar.”