Müşteriye dönük bir chatbot’ta tek bir hızlı enjeksiyon, hassas verileri sızdırabilir, güvene zarar verebilir ve düzenleyici incelemeyi saatler içinde çekebilir. Teknik ihlal sadece ilk adımdır. Gerçek risk, bir AI sistemindeki bir zayıflığın bir iş zincirini, yasal ve toplumsal etkileri ne kadar tetikleyebileceğinden gelir. KDDI Research’teki araştırmacılar, bu noktaları bağlamak için AI güvenlik haritasını geliştirdiler ve teknik başarısızlıkların sistemin kendisinin çok ötesine ulaşan zararlara nasıl yol açtığını gösteriyor.
Mevcut düşüncenin kısaldığı yer
AI güvenlik tartışmaları çoğu sorunun bir dilimine odaklanır. Araştırmacılar genellikle zehirlenme, arka kapı veya hızlı enjeksiyon gibi spesifik saldırı türlerini incelerler. Diğerleri adalet, gizlilik veya açıklanabilirlik gibi bireysel AI niteliklerine odaklanır. Bu, teknik zayıflıkların gerçek dünyadaki etkilere nasıl bağlandığını anlamada bir boşluk bırakır.
Örneğin, bir modele yönelik bir zehirlenme saldırısı doğruluğu düşürebilir. Bu, kullanıcılar için yanıltıcı sonuçlar üretebilir, bu da finansal kayıplara veya güvenlik risklerine neden olabilir. Orijinal saldırı ile nihai zarar arasındaki bağlantı genellikle teknik tartışmalarda keşfedilmemiştir.
Haritanın iki tarafı
AI güvenlik haritası AI güvenliğini iki bağlantılı parçaya ayırır.
Birincisi bilgi sistemi yönüdür (ISA). Bu, AI’nın bir sistem içinde güvenli olması için karşılaması gereken unsurları kapsar. Geleneksel gizlilik, dürüstlük ve kullanılabilirlik üçlüsünü içerir. Ayrıca açıklanabilirlik, adalet, güvenlik, doğruluk, kontrol edilebilirlik ve güvenilirlik gibi AI’ye özgü ihtiyaçlar da ekler.
İkincisi dış etki yönüdür (EIA). Bu, AI saldırıya uğradığında veya kötüye kullanıldığında insanlar, kuruluşlar ve toplum üzerindeki etkilere odaklanır. Bu etkiler gizlilik ihlalleri, yanlış bilgi, ekonomik zarar, kritik altyapıya yönelik tehditler ve yasaların ihlallerini içerebilir.
Model, her ISA öğesini potansiyel ÇED sonuçlarına bağlar. Dürüstlük ihlal edilirse, haksız çıktılara, güvenlik risklerine veya güven kaybına yol açabilir. Bir gizlilik ihlali, gizlilik ihlallerini, itibar zarlarını veya yasal sorunları tetikleyebilir.
Doğrudan ve dolaylı zarar zincirleri
Araştırmacılar, etkilerin iki şekilde yayılabileceğini buldular. Bazıları doğrudan. Gizliliğin ihlali derhal gizlilik ihlaline yol açabilir. Diğerleri dolaylıdır. Örneğin, hızlı bir enjeksiyon saldırısı önce kontrol edilebilirliği zayıflatabilir. Bu, bir saldırganın dezenformasyon yaratmasına izin verebilir. Bu içerik yayılırsa, AI sistemini hiç kullanmayan kişilerin kararlarını etkileyebilir.
Bu önemlidir, çünkü yapay zeka kötüye kullanımı, çekirdek sistem amaçlandığı gibi çalışırken bile zarar verebilir. Saldırganlar, siber saldırıları otomatikleştirmek veya ikna edici sahte içerik üretmek için yüksek doğruluk veya geniş kullanılabilirlik gibi özelliklerden yararlanabilir.
Vectra AI’nin baş güvenlik araştırmacısı Kat Traxler, yardım net güvenliğine bu zorluğun bireysel kuruluşların ötesine geçtiğini söyledi. “AI güvenlik haritası, AI sistemlerinin amaçlandığı gibi işlev gördüğünde bile kötüye kullanımın zarar verebileceğini doğru bir şekilde vurgular. Kuruluşlar, önyargıların ve güvenlik açıklarının düzgün işleyen sistemlerde bile yararlanabileceğini kabul etmelidir. Tüm endüstri, açıklanabilirlik ve adalet etrafında yoğun bir sorun olan şeyle boğuşuyor. Bu noktada, ortalama bir Fortune Company için çok karmaşıktır”. Onun tavsiyesi: Ismarlama büyük modeller inşa etmekten kaçının.
“İkizler, Chatgpt veya Claude gibi ticari olarak inşa edilmiş modellerden yararlanın. Bunu yaparak, açıklanabilirlik ve adalet sorumluluğunun önemli bir bölümünü, ilerleme için gereken kolektif, endüstri çapında çabaya katkıda bulunmak için daha iyi konumlandırılmış daha büyük oyunculara kaydırıyorsunuz.”
Cisos için bu ne anlama geliyor
AI güvenlik haritası liderler için bazı önemli noktaları vurgular.
Birincisi, bütünlük ISA’daki en etkili unsurdur. Uzaktan ödün verildikten sonra, diğer birçok unsur risk altındadır. Bütünlüğü korumak zordur, ancak büyük ölçekli zarar olasılığını azaltır.
İkincisi, gizlilik genellikle saldırılardaki ilk hedeftir. Bu, erişim sınırları, şifreleme ve diferansiyel gizlilik gibi gizlilik odaklı kontrollerin AI ortamlarında gerekli olduğu anlamına gelir.
Üçüncüsü, model güvenlik planlamasını teknik karşı önlemlerin ötesinde yönlendirebilir. Risk haritalamasına, masa üstü egzersizlerine ve olay iletişimine yardımcı olabilir. Teknik bir başarısızlığın iş kesintisine veya yasal maruziyete nasıl yol açabileceğini göstermek, savunmaya yatırım için dava açabilir.
Haritayı nasıl kullanılır
CISOS, AI güvenlik haritasını çeşitli şekillerde uygulayabilir:
- AI sistemlerindeki bilinen güvenlik açıklarını olası paydaş etkileri için harita.
- AI servis sağlayıcılarının hem ISA hem de EIA risklerini karşılayıp karşılamadığını görmek için satıcı değerlendirmelerinde kullanın.
- Hem doğrudan hem de dolaylı etki zincirlerini araştıran senaryo planlaması çalıştırın.
- Yapay zeka risklerinin örgütsel risklere nasıl dönüştüğünü anlaması gereken panolar ve yöneticiler için bir iletişim aracı olarak kullanın.
Appomni’de AI direktörü Melissa Ruzzi, çerçevenin hem kullanıcıların hem de verilerin dikkatli haritalanmasıyla güçlendirilebileceğini söylüyor. “AI güvenliğinin bir risk değerlendirmesinde hem teknik hem de toplumsal etkilerini dahil eden ilk adım AI işlevselliğini haritalamaktır. Kullanıcıları haritalamaktır – örneğin, iç çalışanlar, ticari müşteriler veya kamu sonu kullanıcıları.
Haritalama veri akışının da aynı derecede önemli olduğunu ekliyor. “Verilerin nereden geldiğini, nasıl tedavi edildiğini ve başka hangi verilerin bir araya getirildiğini anlayın. Bu, ETL boru hattının, veri akışının kendisinin ve ilgili MLOP’ların da akışın bir parçası olacağı ve AI’nın genel olarak nasıl işleyebileceğini etkileyebileceği için haritalandırmayı içerecektir.” CISO’lar için bu, geleneksel risk değerlendirmelerini tamamen teknikin ötesine uzanan AI’ya özgü riskleri içerecek şekilde genişletmenin bir yolunu sunar.