Yapay zeka (AI) ‘deki teknoloji endüstrisi faaliyeti seviyesi göz önüne alındığında, eğer henüz yapmadılarsa, çoğu BT liderinin kuruluşlarında özgürce çalışan bu tür sistemlerin güvenlik sonuçlarını dikkate almaları gerekecektir. Yapay zekanın gerçek riskleri, çalışanlara güçlü araçlara kolay erişim ve AI tarafından üretilen çıktılarda birçok yer örtük güven sunmasıdır.
Knowbe4’teki güvenlik farkındalığı savunucusu Javvad Malik, BT ve güvenlik liderlerini her ikisini de ele almaya çağırıyor. Bir AI sisteminden ödün verme olasılığı uzak görünse de, Malik daha büyük acil riskin, çalışanların uygun bir doğrulama olmadan AI tarafından üretilen içeriğe dayalı kararlar vermesinden geldiği konusunda uyarır.
“Yapay zekayı son derece kendine güvenen bir stajyer olarak düşünün. Yararlı ve önerilerle dolu, ancak gözetim ve doğrulama gerektiriyor” diyor.
Heinen, “Modele bir soru sorduğunuzda meydana gelen dahili veri sızıntısı – aşırı paylaşım – ve paylaşmaması gereken dahili bir kullanıcı bilgisi veriyor. Ve sonra harici veri sızıntısı var” diyor.
“Bir AI modelini şirkete yeni gelen yeni bir çalışan olarak düşünüyorsanız, onlara her şeye erişim sağlıyor musunuz? Hayır, yapmıyorsunuz. Görevleri yapma güvenini ve kapasitesini gösterdikleri için zamanla onlara güveniyorsunuz” diyor.
Heinen, AI sistemlerini kuruluş genelinde dağıtarken aynı yaklaşımı almanızı önerir.
Knowbe4’ün Malik’i AI riskleri ile ilgili konuşmanın da devam ettiğini belirtiyor. “Önemli bir endişe olmasına rağmen, artık sadece veri sızıntısı ile ilgili değil” diyor. “Şimdi iş kararlarını etkilemek için AI sistemlerinin tehlikeye atılabileceği, manipüle edilebileceği ve hatta ‘oyuncak’ olabileceği bölgelerde geziniyoruz.”
Yaygın kötü niyetli AI manipülasyonu yaygın olarak belirgin olmasa da, kuruluşlar bu sistemlere daha bağımlı hale geldikçe bu tür saldırılar potansiyeli mevcuttur ve büyür.
Bu yılın başlarında RSA konferansında, BT güvenlik gurusu Bruce Schneier, AI sistemleri tarafından sağlanan yanıtların tarafsızlığını sorguladı, eğer bir chatbot belirli bir havayolu veya otel öneriyorsa, bunun gerçekten en iyi anlaşma olduğu veya AI şirketinin tavsiye için bir geri tepme aldığı için mi olduğunu belirtti?
Güvenlik önlemleri
BT güvenlik şeflerinin ve iş liderlerinin, gerekli ve uygun güvenceleri dahil ederken AI’nın değerini kucaklayan çerçeveler geliştirmek için çalışması gerektiği konusunda genel endüstri anlaşması vardır. Malik, bunun AI tarafından oluşturulan çıktılar için doğrulama süreçlerini uygularken çalışan ihtiyaçlarını karşılayan güvenli, yetkili AI araçlarının sağlanmasını içermesi gerektiğini söylüyor.
Yapay zekayı son derece kendine güvenen bir stajyer olarak düşünün. Yararlı ve önerilerle doludur, ancak gözetim ve doğrulama gerektirir
Javvad Malik, KnowBe4
Veri kaybı potansiyelinden kaçınmak için önlemlere de ihtiyaç vardır. Aryaka’daki Güvenlik Mühendisliği ve AI stratejisi başkan yardımcısı Aditya K Sood, bilgi güvenliğinden sorumlu olanların, AI araçlarının kullanımını ele almak için kabul edilebilir kullanım politikalarını sunmasını ve hassas, gizli şirket verilerinin kamu veya onaylanmamış AI modellerine girdisini açıkça yasaklamasını önermektedir.
Sood, politikaların yapay zeka bağlamında “hassas” verileri neyin oluşturduğunu açıkça tanımlamasını önermektedir ve veri işlemeyi kapsayan politikaların, iç AI model eğitimi veya ince ayar için kullanılan verilerin anonimleştirme, takma adlandırma ve tokenizasyon için gereksinimleri detaylandırması gerekir. “Hassas veriler müşteri kişisel bilgilerini, finansal kayıtları veya ticari sırları içerebilir” diyor.
Politika değişikliklerinin yanı sıra Sood, karar vericileri AI geliştirme boru hattı boyunca güvenlik uygulamalarını dağıtarak AI sistem bütünlüğüne ve güvenliğine odaklanmaya çağırıyor.
Sonatype’in kurucu ortağı ve baş teknoloji sorumlusu Brian Fox için, Güvenlik Mücadelesi, AI modellerinin büyük, opak veri kümelerinden ve izlenmesi zor eğitim süreçlerinden inşa edilmiş kara kutular olmasıdır.
“Veri kümeleri veya ayar parametreleri mevcut olsa bile, genellikle denetlenemeyecek kadar büyükler” diyor.
Kötü niyetli davranışlar kasıtlı olarak ya da kasıtlı olarak eğitilebilir ve AI’nın belirleyici olmayan doğası kapsamlı testi imkansız hale getirir. Yapay zekayı güçlü kılan şey onu öngörülemez ve riskli hale getiriyor, diye uyarıyor.
Bir AI sistemi tarafından üretilen çıktı, eğitildiği giriş verileriyle doğrudan ilişkili olduğundan, Sood, karar vericileri AI sistemine giren tüm veriler için güçlü filtreler ve doğrulayıcılar uygulamalarını sağlamaya çağırır. Yapay zeka modellerinin, sıkıntılı saldırıları önlemek için hızlı enjeksiyon, veri zehirlenmesi ve model tersine çevirme gibi güvenlik açıkları için titizlikle test edilmesi gerektiğini söylüyor.
Benzer şekilde, kötü niyetli enjeksiyonlardan kaçınmak için Sood, BT liderlerine AI tarafından üretilen çıkışların kullanıcılara sunulmadan veya aşağı akış sistemlerinde kullanılmadan önce sterilize edilmesini ve onaylandığından emin olmalarını tavsiye eder. Mümkün olan her yerde, sistemlerin açıklanabilir AI yetenekleri ile konuşlandırılması gerektiğini ve kararların nasıl alındığına dair şeffaflık sağladığını söylüyor.
Önyargı, AI sistemlerinin en ince ve tehlikeli risklerinden biridir. Fox’un belirttiği gibi, eğik veya eksik eğitim verileri sistemik kusurlarda pişiriyor. İşletmeler, nasıl çalıştıklarını veya çıktılarının gerçek insanları nasıl etkileyebileceğini tam olarak anlamadan güçlü modeller kullanıyorlar. Fox, BT liderlerinin opak modellerin dağıtılmasının sonuçlarını dikkate almaları gerektiği konusunda uyarıyor, bu da önyargıyı tespit etmeyi zorlaştırıyor ve düzeltilmesi neredeyse imkansız.
“İşe alım, borç verme veya sağlık hizmetlerinde önyargılı bir model kullanılıyorsa, o tarafsızlık kisvesi altındaki zararlı kalıpları sessizce güçlendirebilir. Bu, AI’nın kara kutu doğasının bir sorumluluk haline geldiği yerdir” diyor.
Yüksek bahisli kararlar için Sood, CIO’ları hassas verileri ele almak veya geri dönüşümsüz operasyonları yapmak için insan gözetimini zorunlu kılmaya teşvik eder.
Veri ve AI eğitiminin güvence altına alınmasının yanı sıra, BT liderleri de esnek ve güvenli AI geliştirme boru hatları oluşturmak için çalışmalıdır.
“Yapay zeka geliştirme boru hatlarının güvence altına alınması, kritik ağ altyapısına, güvenlik ürünlerine ve işbirlikçi çözümlere entegre olan AI uygulamalarının güvenilirliğini ve dayanıklılığını sağlamak için çok önemlidir. Güvenliği tüm AI yaşam döngüsü boyunca gömmeyi gerektirir” diyor.
Bu, modellerin ve eğitim veri kümelerinin modern yazılım tedarik zincirinin bir parçası olduğu üretken yapay zeka (Genai) kodunu içerir. BT liderlerine sürekli entegrasyon/sürekli teslimat (CI/CD) en iyi uygulamaları, kod imzalama ve model bütünlük kontrolleri ile BT operasyonları (AIOP) boru hatları için güvenli AI (AIOP) boru hatları sağlamaya çağırıyor. Bunun, kötü amaçlı kod veya truva ağırlıkları için tarama eğitim veri kümelerini ve model eserlerini ve arka kapı ve lisans uyumluluğu için üçüncü taraf modelleri ve kütüphaneleri incelemek gerekir.
AI topluluğunda şeffaflık, işbirliği ve daha hızlı yinelemeyi teşvik eden AI modellerinin artan açıklığı göz önüne alındığında, Fox AI modellerinin hala yazılım olduğunu belirtiyor. Bu yazılım kapsamlı kod tabanları, bağımlılıklar ve veri boru hatlarını içerebilir. “Herhangi bir açık kaynaklı proje gibi, güvenlik açıkları, modası geçmiş bileşenler ve hatta evlat edinme ile ölçeklenen gizli arka kapılar barındırabilirler” diye uyarıyor.
Fox’un deneyiminde, birçok kuruluşta AI modellerinin yazılımlarında nerede kullanıldığını tespit etmek için henüz araçlara veya süreçlere sahip değildir. Uygulamalarda, boru hatlarına veya uygulama programlama arayüzlerine (API) gömülü olsun, modelin benimsenmesine ilişkin görünürlük olmadan yönetişim imkansızdır. “Göremediğinizi yönetemezsiniz” diyor. Bu nedenle Fox, BT liderlerinin AI kullanımına görünürlük sağlamaları gerektiğini öne sürüyor.
Genel olarak, BT ve güvenlik liderlerine kapsamlı bir AI yönetişim çerçevesi uygulamaları tavsiye edilir (bkz. Güvenli bir AI stratejisi için ipuçları kutu).
Gelişmiş Siber Savunma Sistemleri’nden CTO olan Elliott Wilkes şunları söylüyor: “CISOS, güvenliği en başından itibaren işletme çapında bir AI yönetişim çerçevesinin oluşturulmasını savunmalı.”
Yetkili, AI risklerinin işletme çapında risk yönetimi ve uyumluluk uygulamalarına dokunması gerektiğini söylüyor.
Yönetişim çerçevesi, AI merkezli bir risk yönetimi süreci oluşturmak için AI geliştirme, dağıtım ve gözetim için açık rolleri ve sorumlulukları tanımlamalıdır. Risk sınıflandırmalarını içermesi gereken onaylanmış AI araçlarının merkezi bir envanterini koymanızı önerir.
“Yönetişim çerçevesi, gölge AI ile ilişkili riskin yönetilmesine önemli ölçüde yardımcı olur – onaylanmamış AI araçlarının veya hizmetlerinin kullanımı” diye ekliyor.
Ve son olarak, BT ekiplerinin organizasyonda yalnızca onaylanmış AI araçlarının yürütülmesini zorunlu kılmaları gerekir. Diğer tüm AI araçları ve hizmetleri engellenmelidir.
Gartner’ın Heiner’ı CISOS’un riske dayalı bir yaklaşım benimsemesini önerir. Kötü amaçlı yazılım algılama veya yazım denetleyicileri gibi araçlar yüksek riskli değildir, İK veya güvenlik sistemleri çok daha büyük bir risk taşır.
“Tıpkı diğer her şeyde olduğu gibi, ortamınızda çalışan her AI biti kritik bir bileşen veya yüksek bir risk değil” diyor. “İnsanları işe almak için AI kullanıyorsanız, muhtemelen dikkat etmek istediğiniz bir alan” diye ekliyor. “Bir fabrikadaki güvenliği izlemek için AI kullanıyorsanız, buna daha fazla dikkat etmek isteyebilirsiniz.”