Bu Help Net Security röportajında, SplxAI CEO’su Kristian Kamber, GenAI için güvenlik zorluklarının geleneksel yazılımlardan nasıl farklı olduğunu tartışıyor. Öngörülebilir yazılımların aksine, GenAI dinamik, gelişen tehditler ortaya çıkarır ve savunma ve uyumluluk için yeni stratejiler gerektirir.
Kamber, sürekli izleme ve uyarlanabilir güvenlik önlemlerinin gerekliliğinin altını çiziyor.
GenAI uygulamalarının güvenlik zorlukları geleneksel yazılım sistemlerininkilerden nasıl farklılık gösteriyor?
GenAI uygulamalarını savunmak, sabit bir kaleden, isteğe göre değişen, yaşayan, nefes alan bir labirente geçmek gibidir. Geleneksel yazılımlar, tanımlanmış girdiler, çıktılar ve yollarla öngörülebilirdir; güçlendirebileceğiniz duvarlar. Ancak GenAI, AI’nın yalnızca verileri işlememesi, aynı zamanda onlardan öğrenmesi, uyum sağlaması ve kendi çıktılarını üretmesi nedeniyle dinamik, gelişen bir saldırı yüzeyi sunar.
GenAI ile yalnızca yetkisiz erişime veya veri ihlallerine karşı savunma yapmıyoruz. AI’nın dünyayı anlama biçimine yönelik saldırılarla boğuşuyoruz. Burada çok çeşitli saldırı vektörleri var. Saldırganların modelin kendisinden hassas verileri çıkardığı model ters çevirme saldırıları, sistemin çıktılarını bozan eğitim veri zehirlenmesi ve modeli kötü davranmaya kandıran istem enjeksiyon saldırıları var. Ve eğer model büyük ve önceden eğitilmişse, bu kendi kendine çalışan bir fabrikayı korumaya çalışmak gibidir; tam da kontrol edilmesinin ne kadar karmaşık olduğu nedeniyle tehlikelidir.
Bu, güvenliğin ne anlama geldiğini yeniden düşünmemizi gerektiriyor. Artık koddaki güvenlik açıklarını kapatmak yeterli değil; verileri, çıktıları ve hatta modelin zaman içinde nasıl evrildiğini sürekli olarak izlemeliyiz. Hızlı enjeksiyon, halüsinasyonlar ve çıkarım saldırılarına karşı savunma yapıyoruz; bunlar geleneksel yazılım güvenliği oyun kitabında bulunmayan tehditler.
Ve model kaymasını unutmayalım: AI öğrenmeye devam ettikçe, yanıtlarındaki küçük sapmalar kötü niyetli kurcalamanın sinyali olabilir. Bu alandaki güvenlik, hem girdileri hem de çıktıları sürekli olarak doğrulamak, sadece statik duvarları değil, aynı zamanda gelişen bir kaleyi koruduğumuzdan emin olmaktır.
GenAI uygulamalarına özgü hangi saldırı yüzeylerini en endişe verici buluyorsunuz ve yapay zeka teknolojisi ilerledikçe bu güvenlik açıklarının nasıl gelişeceğini öngörüyorsunuz?
Şu anda en endişe verici saldırı yüzeyi? Veri zehirlenmesi. Bu, birinin su kaynağına kaynaktan su dökmesi gibi. GenAI modelinizi besleyen veriler bozulduğunda, AI tüm yanlış dersleri öğrenir. Hatalı çıktılar üretmeye başlar ve en kötü yanı? Çok geç olana kadar fark etmeyebilirsiniz bile.
Sonra, model çıkarma ve tersine mühendislikte artan risk var. Sektörde APT’lerin bu tür taktiklere başvurduklarına, bu modellerin katmanlarını soymak ve tescilli fikri mülkiyet veya gizli eğitim verileri de dahil olmak üzere hassas verileri çıkarmak için önemli hesaplama güçlerini kullandıklarına dair söylentiler var. Bu, kaba kuvvetle kombinasyonu yavaşça çözerek bir kasayı kırmaya benzer – ancak bu durumda “kasa” oldukça karmaşık bir sinir ağıdır.
Yapay zeka teknolojisi gelişmeye devam ettikçe, bu riskler daha da kötüleşecek. Yapay zeka, sağlık hizmetlerinden finansal sistemlere kadar kritik altyapılara giderek daha fazla yerleştirilecek. Bu modellerin veri zehirlenmesi, tersine mühendislik veya düşmanca saldırılar yoluyla kurcalanmasının olası sonuçları felaket olabilir. Saldırganlar için yalnızca tuttuğu verilerden ziyade, modelin kendisinin tacı haline geldiği bir döneme giriyoruz.
GenAI bağlamında, uyumluluk çerçeveleri ve düzenleyici gereklilikler güvenlik uygulamalarını nasıl şekillendiriyor ve kuruluşlar için en büyük engellerin ne olacağını öngörüyorsunuz?
Şu anda, GenAI etrafındaki uyumluluk ve düzenleme biraz Vahşi Batı gibi hissettiriyor, ancak hareket var. BSI, CSA, MITRE, NIST gibi kuruluşlardan ve AB AI Yasası gibi düzenleyici çabalardan AI’ya özgü yönergeler görmeye başlıyoruz. Bu kurallar GenAI güvenliğine nasıl yaklaştığımızı şekillendirmeye başlıyor. Şeffaflık için baskı yapıyorlar, bu çok büyük çünkü geleneksel “kara kutu” AI sistemleri artık çalışmıyor. Kararların nasıl alındığını bilmemiz gerekiyor, bu da şirketleri daha hesap verebilir ve denetlenebilir sistemler kurmaya zorluyor.
Engel mi? Kuruluşların artık tüm AI yaşam döngüsünü anlamaları gerekiyor. Bu sadece nihai çıktıyı güvence altına almakla ilgili değil, aynı zamanda veri hattını güvence altına almak, modelleri eğitmek, modelin açıklanabilirliğini sağlamak ve dağıtım sonrası davranışı izlemekle ilgilidir. Bu, birçok şirket için zihniyet ve kaynaklarda büyük bir değişimdir. Uyumluluk talepleri genellikle bir kuruluşun güvenlik kültüründen daha hızlı hareket eder, bu nedenle birçoğu uygulamalarını bu gelişen standartlarla uyumlu hale getirmek için yetişmeye çalışmaktadır. Önde kalmak için kuruluşlar, AI risklerinin çok yönlü doğasıyla başa çıkmak için veri bilimcilerinden ve siber güvenlik uzmanlarından hukuk ve uyumluluk profesyonellerine kadar çeşitli kişiliklerden ve profillerden oluşan AI güvenliği için özel görev grupları oluşturmayı düşünmelidir.
Bir diğer konu da yorumlanabilirliktir: Bir sinir ağının kararını düzenleyicilerin anlayacağı şekilde nasıl açıklarsınız? Bu birçok kişi için baş ağrısı olacaktır. Bir makineyi insan standartlarına karşı sorumlu tutma fikri hala gelişmektedir.
Yeni nesil GenAI uygulamaları için penetrasyon testlerini otomatikleştirmenin ardındaki stratejik hedefleri ayrıntılı olarak açıklayabilir misiniz? Bu hedefler, kurumsal güvenliğin daha geniş hedefleriyle nasıl örtüşüyor?
GenAI için kalem testlerini otomatikleştirmek, bu modellerdeki evrim hızına ayak uydurmakla ilgilidir. Buradaki stratejik amaç, modeller, özellikler ve sistem komutları geliştikçe güvenlik açıklarını yakalamaktır. AI modelleri, geleneksel yazılım sistemlerinden çok daha sık değişir; bazen günlük olarak, modellerde, veri girişlerinde veya hatta komutlarda gerçek zamanlı geri bildirime göre değişen güncellemeler olur.
Kalem testlerini otomatikleştirerek, geliştirmeyi yavaşlatmadan sürekli olarak zayıflıkları araştırabiliriz. Bu sadece güvenlik açıklarını bulmakla ilgili değil; güvenliği GenAI yinelemesinin hızlı temposuyla uyumlu tutmakla ilgilidir. İşletmelerin, bir modeli ayarladıklarında, yeni bir özellik eklediklerinde veya sistem istemlerini değiştirdiklerinde her seferinde yanlışlıkla güvenlik açıkları oluşturmadıklarından emin olan bir sisteme ihtiyaçları vardır. Otomasyon, güvenlik ekiplerinin bu testleri geliştirme döngüsüne entegre etmelerini ve sürekli koruma sağlamalarını sağlar.
Bu yaklaşım, riski en aza indirirken çevik kalmanın daha geniş kurumsal hedefi ile mükemmel bir şekilde uyumludur. AI’yı büyük ölçekte dağıtırken olmazsa olmaz olan, darboğaz oluşturmadan güvenliği sağlıyorsunuz.
Otomatik AI destekli penetrasyon testlerini geleneksel manuel yaklaşımlarla karşılaştırdığınızda, etkinlik ve güvenilirlikte en önemli farkları nerede görüyorsunuz? Bir yaklaşımın diğerinden daha iyi performans gösterdiği senaryolar var mı?
Her ikisini de kullanmalısınız, bunda şüphe yok. Otomatik kalem testi sizin verimlilik makinenizdir; zamanı ve maliyeti optimize etmenize yardımcı olur. Sürekli gelişen AI sistemleriyle çalıştığınızda, her yinelemeyi manuel olarak test etmeyi göze alamazsınız. Otomatik kalem testi, hem karmaşık güvenlik açıklarını hem de kolayca ulaşılabilecek şeyleri yakalamak için oldukça etkilidir ve yeni modeller dağıtmanın veya sistem komutlarını değiştirmenin beklenmedik riskler getirmemesini sağlar; tüm bunlar manuel testin kesinlikle eşleşemeyeceği bir hız ve ölçekte gerçekleşir.
Ancak bir sorun var: otomasyon yaratıcılıktan yoksundur. Kuralları ve kalıpları takip eder, bu verimlilik için mükemmeldir ancak beklenmeyeni tespit etmek için pek de iyi değildir. İşte manuel kalem testinin devreye girdiği yer burasıdır; insan sezgisi gerektiren yaratıcı, karmaşık saldırılar için daha iyidir. En yıkıcı saldırıların bazıları çok katmanlı ve inceliklidir, yalnızca bir insan testçinin hayal edebileceği türden şeylerdir.
Yani, otomasyon hıza yardımcı olurken ve güvenlik açıklarını uyumluluk çerçevelerine eşlerken -hatta bazı azaltma stratejilerini bile otomatikleştirebilir- yine de o insan dokunuşuna ihtiyacınız var. Tam bir güvenlik taraması için her ikisine de ihtiyacınız var. Otomasyonu sürekli, hızlı hareket eden kalkanınız olarak düşünün, manuel test ise tüm sistemi çökertebilecek o fark edilmesi zor kusurları yakalayan hassas vuruşunuzdur.
Yapay zeka kırmızı takımının kritik önemini tartışalım. Bu beceri setini ve hizmet teklifini, yapay zeka odaklı girişimlerini güvence altına almayı amaçlayan kuruluşlar için vazgeçilmez kılan nedir?
Yapay zeka kırmızı takım çalışması kesinlikle çok önemlidir. Sadece sisteminizi savunmak yeterli değildir; gerçek bir düşmanın yapacağı gibi aktif olarak ona saldırmanız gerekir. İşte kırmızı takım çalışması tam da burada devreye girer, yapay zeka sistemlerinizi standart test yöntemleriyle belirgin olmayabilecek zayıflıkları ortaya çıkarmak için stres testi yapar.
SplxAI’da oldukça şaşırtıcı güvenlik açıkları keşfettik. Örneğin, sistem istemlerine tarihleri entegre eden popüler sohbet robotları aslında belirli tarihlerde daha savunmasızdır. Saldırganlar, AI’da beklenmedik davranışları tetiklemek için bu tarihle ilgili istemleri manipüle edebilir. Bu, oradaki milyonlarca potansiyel güvenlik açığından sadece bir örnek ve bu saldırıların ne kadar sinsi olabileceğini gösteriyor.
Yapay zekayı güvence altına almak, bulut altyapısını güvence altına almaktan kat kat daha karmaşık bir görev olacak. Yapay zeka sistemleri daha fazla hareketli parçaya, daha fazla bağımlılığa ve daha fazla bilinmeyene sahip. Sadece statik bir sistemi güvence altına almıyorsunuz; dinamik, gelişen bir sistemi güvence altına alıyorsunuz. Kırmızı takım, geleneksel savunmaların ötesinde düşünmenizi ve en önemli olduğunda istismar edilebilecek bir sistemdeki kör noktaları ortaya çıkarmanızı sağlar.