Bu yardımda net güvenlik görüşmesinde, CTO CTO’su Jacob Ideskog, AI ajanlarının kuruluşlara verdiği riskleri tartışıyor. Bu ajanlar kurumsal sistemlere gömüldükçe, kötüye kullanım, veri sızıntısı ve yetkisiz erişim potansiyeli büyür.
Ideskog, endüstrinin bir güvenlik krizine “uyurgezer” olduğu konusunda uyarıyor, API ve bulut benimsemesinin ilk günlerine paralellik çekiyor ve şirketlerin bu davranış odaklı tehditlere karşı savunmak için atması gereken adımları özetliyor.
AI ajanları ile bir güvenlik krizine “uyurgezer” konusunda “uyurgezer” konusunda uyardınız. Bununla neyi kastediyorsunuz ve zaten bu yolda olduğumuzu hangi işaretleri görüyorsunuz?
AI ajanları ve diğer insan olmayan kimlikler hızla çoğalmaktadır. Bazı kuruluşlarda, insan kullanıcılarını zaten 80 ila 1’den fazla daha fazla sayıyorlar. Birçoğu, sistemlere ve verilere geniş, kalıcı erişimle konuşlandırılıyor, ancak aynı güvenlik kontrolleri, yönetişim veya insan hesaplarına uygulanan izleme olmadan. Bu, ister hızlı enjeksiyon, tehlikeye atılmış kimlik bilgileri veya ürettikleri güvensiz kodun kullanımı yoluyla, istismar için mükemmel bir fırsat yaratır.
Zaten erken uyarı işaretleri görüyoruz. Güvenlik araştırmacıları, AI asistanlarını yetkisiz komutlar çalıştırmaya, hassas dosyalara erişmeye veya hepsi tipik güvenlik uyarılarını tetiklemeden tedarik zinciri güvenlik açıkları getirmenin mümkün olduğunu göstermiştir. Bu testler kontrollü koşullarda olsa da, teknikler, kötü niyetli aktörlerin onları vahşi doğada kullanmasının sadece bir zaman meselesi olacak kadar basittir.
AI ajan güvenliğinin mevcut durumunu, örneğin API güvenliğinin veya bulut yanlış yapılandırmalarının ilk günlerini nasıl karşılaştırırsınız? Benzer hataları tekrarlıyor muyuz?
Evet, kesinlikle tarihin kendini tekrarladığını görüyoruz. Mevcut aracı güvenlik durumu, kuruluşların güvenlik sonuçlarını anlamadan bulut ve API benimsemesini uygulamak için koştuğu 2010’lara çok benziyor.
API döneminin başlarında, geliştiriciler genellikle uygun kimlik doğrulama, giriş validasyonu veya hız sınırlaması olmadan uç noktaları ortaya çıkardılar. Saldırganlar öngörülebilir kalıplar ve yanlış yapılandırmalar buldukça birçok sistem istismar edildi veya tehlikeye atıldı. Buluta geçiş, yanlış yapılandırılmış depolama kovaları, aşırı izin veren roller ve zayıf görünürlük ile aynı tür büyüyen ağrıları tanıttı.
Aynı desen AI ajanları ile ortaya çıkıyor. Yetenekler etkileyici ve onları benimseme iş baskısı büyüyor, ancak bunların nasıl güvence altına alınacağının anlaşılması geride kalıyor. Birçok takımın henüz AI için bir tehdit modeli yoktur. Girişlerin nasıl manipüle edilebileceğini, AI sistemlerinin oturumlar boyunca bağlamı nasıl sızdırabileceğini veya aşırı bırakılan bir ajanın üretim ortamlarında nasıl istenmeyen eylemler yapabileceğini düşünmüyorlar.
Ayrıca, daha önceki dönemleri yineleyen bazı operasyonel hatalar görüyoruz. AI aracılarını, uygun korumaları uygulamaya koymadan doğrudan dahili araçlarla ve veri kaynaklarıyla entegre eden kuruluşlar vardır. Diğerleri izleme veya günlüğe kaydetme, bu sistemleri sadece ön uç sohbet botları gibi davranıyor. Bazı durumlarda, kabul edilebilir veya güvensiz bir çıktı neyin oluşturduğunun bir tanım yoktur, bu da hata için çok fazla yer bırakır.
Şimdi temel fark, AI ile saldırı yüzeyinin davranış, dil ve bağlam içermesidir. Mevcut kontroller bunları kolayca kilitleyemez ve farklı bir yaklaşım gereklidir. Bu, hızlı sertleştirme, giriş ve çıkış filtreleme ve sistemin zaman içinde nasıl davrandığının sürekli izlenmesini içerebilir. Bu nüans seviyesinin, amaca yönelik araçlar ve zihniyette bir değişim olmadan yönetmek zordur.
Yine de iyi haber, çizmek için deneyimimiz olması. API ve Bulut Güvenliği dersleri hala geçerlidir, en az ayrıcalık gibi ilkeler, varsayılan olarak güvenli, denetlenebilirlik ve katmanlı savunma da ilgilidir, bunları yeni bir bağlamda uygulamamız gerekir. Buradaki riskler, kod seviyesi güvenlik açıklarından daha fazla etki, yanlış yorumlama ve istenmeyen eylemle ilgilidir.
Güvensiz bir AI temsilcisinin veya botun bir güvenlik ihlali veya operasyonel soruna neden olduğu veya katkıda bulunduğu, kamu veya anonimleştirilmiş gerçek dünya olayı paylaşabilir misiniz?
Yakın zamanda yapılan bir örnek, AI ile çalışan bir kodlama aracı olan imleç IDE’yi içeriyordu. Araştırmacılar, kötü niyetli istemleri besleyerek, gömülü AI asistanını geliştiricinin yerel makinesinde sistem komutlarını yürütmeye kandırabileceklerini gösterdiler. Bu tür bir senaryoda, saldırganlar çevre değişkenlerini, API anahtarlarını ve kimlik doğrulama jetonlarını çalabilir, hassas dosyaları harici sunuculara ekleyebilir ve potansiyel olarak backdoors yükleyebilir veya yapılandırmaları değiştirebilir.
Başka bir örnek, kod parçacıkları önermek için Openai modelleri kullanan GitHub Copilot’tan geliyor. Başta, geliştiriciler Copilot’un bazen sert kodlanmış kimlik bilgileri, modası geçmiş şifreleme veya eksik giriş doğrulaması gibi güvensiz kod oluşturduğunu fark ettiler. Bu doğrudan bir ihlal değildi, ancak AI tarafından oluşturulan kodun dikkatle incelenmezse yazılım tedarik zincirlerine nasıl sessizce güvenlik açıkları getirebileceğini gösterdi.
Bu olaylar, AI ajanlarının pasif araçlar değil, sistemlerinizdeki aktif katılımcılar olduğunu göstermektedir. Kuruluşlar kapsamlı izinler, hızlı sertleşme, davranışsal izleme ve katı çıkış filtreleme gibi uygun korkuluklar uygulamıyorsa, AI ajanları önemli güvenlik yükümlülükleri haline gelebilir.
Tipik bir işletme ortamında çalışan bir AI ajanı için saldırı yüzeyi nasıl görünüyor? Saldırganların hedefleme olasılığı en yüksek puan nedir?
Tipik bir işletme ortamında bir AI ajanının saldırı yüzeyi hem geniş hem de son derece dinamiktir. Geleneksel uygulamalardan farklı olarak, AI ajanları manipülasyon için yeni yollar açan doğal dil yoluyla etkileşime girer. Bu hibrit doğa, kısmen yazılım sistemi, kısmen dil arayüzü, yeni güvenlik zorlukları sunar.
En yaygın ve kritik güvenlik açıklarından biri hızlı enjeksiyondur. AI ajanları metne gömülü talimatları izlediğinden, saldırganlar dahili komutları geçersiz kılmak, gizli istemleri ortaya çıkarmak ve hatta ajanın amaçlanan davranışını değiştirmek için tasarlanmış girdiler oluşturabilir. Söz konusu aracı hassas veriler veya sistemlerle etkileşime girerse, bu hızla yetkisiz erişim veya eyleme dönüşebilir.
Bir diğer önemli risk, modelin çıktısı boyunca veri sızıntısıdır. Altta yatan veri kaynakları uygun şekilde güvence altına alınsa bile, bir AI ajanı akıllıca ifade edilen sorulara yanıt olarak istemeden gizli bilgileri ortaya çıkarabilir. Erişim kontrolleri genellikle LLM tabanlı sistemler için geçerli değildir, bu da hassas bilgilerin dolaylı sorgular veya bağlam manipülasyonu yoluyla sızabileceği anlamına gelir.
Kasıtlı olarak hatalı, gizlenmiş veya belirsiz istemler gibi çekişmeli girdiler de artan bir risk sunar. Saldırganlar bunları filtreleri atlamak, modeli güvensiz ifadeler yapmak veya beklenmedik davranışları indüklemek için kullanabilir.
Resmi daha da karmaşıklaştıran, kurumsal araçlarla entegrasyonlar saldırı yüzeyini önemli ölçüde genişletebilir. API’leri arayabilen, kayıtları güncelleyebilen, e -posta gönderebilen veya iş akışlarını yürütebilen AI aracıları kesinlikle izin verilmeli ve izole edilmelidir. Aşırı bırakılan bir ajan, kötü niyetli bir girdi ile manipüle edilirse, kasıtsız bir saldırı proxy olabilir. Bu durumlarda sınırlar ve ayrıntılı kontroller esastır.
Eğitim verilerinin maruz kalması bir başka zayıf noktadır. Bir AI modeli dahili belgelerde veya sohbet günlüklerinde eğitilmiş veya ince ayarlanmışsa, saldırganlar modeli zamanla araştırarak bu verilerin parçalarını çıkarabilir. Tehlikeli bir şekilde gözden kaçan bir risk.
Son olarak, altyapı endişeleri hala geçerlidir. AI’yı destekleyen uç noktalar, API’lar, günlük sistemleri ve ara katman yazılımı, diğer kritik sistemlere uygulanan aynı prensipler kullanılarak güvence altına alınmalıdır. Zayıf giriş validasyonu, yetersiz günlüğe kaydetme veya oran sınırlama eksikliği, saldırganların sadece AI ajanından değil, aynı zamanda çalıştığı ortamdan da yararlanmasına izin verebilir.
AI sistemlerini özellikle güvence altına alan şey, güvenlik açıklarının doğasıdır. Birçoğu kod tabanlı değil, davranışsaldır, modelin dile nasıl yorumladığı ve yanıt vermesinin sonucudur. Güvenlik ekipleri, istemi yoluyla verilen niyet manipülasyonu, semantik belirsizlik ve sosyal mühendislik tarzı saldırıları açıklamalıdır.
Riski azaltmak için kuruluşların katmanlı savunmalara, hızlı sertleştirme, çıktı filtreleme, davranışsal izleme, kırmızı ekip, erişim kontrolleri ve tüm AI etkileşimlerinde güçlü gözlemlenebilirliğe ihtiyacı vardır. Saldırı yüzeyi modeli, talimatlarını, eriştiği verileri ve içinde çalıştığı sistemleri içerir. Savunucular, ileride kalabilmek için dil odaklı rakipler gibi düşünmelidir.
Her kuruluşun üretimde bir AI temsilcisi kullanmadan önce uygulaması gereken kontroller veya uygulamalar nelerdir?
Bir AI temsilcisinin dağıtılması, diğer herhangi bir kritik sisteme uygulanan aynı titizlikle yönetilmesi gereken yeni bir tehdit sınıfı getirir. Gitmekten önce, AI ortamı, hızlı enjeksiyon, çekişmeli manipülasyon ve girdi sel veya hizmet reddi yoluyla kötüye kullanım dahil olmak üzere geniş bir saldırı vektörüne karşı güvence altına alınmalıdır. Bu, hem dahili kullanıcılar hem de entegre sistemler için rol tabanlı kontroller de dahil olmak üzere güçlü kimlik ve erişim yönetimi gerektirir. AI ile değiştirilen tüm veriler transit ve dinlenme içinde şifrelenmeli ve açıkta kalan uç noktalar sertleştirilmeli, izlenmeli ve hız sınırlandırılmalıdır.
AI modellerinin kendileri potansiyel saldırı yüzeyleri olarak ele alınmalıdır. Üretken modeller, bunların nasıl istendiğine karşı doğal olarak duyarlı olduğundan, kuruluşlar beklenmedik davranışı önlemek için bir dizi koşul altında istemleri test etmeli ve doğrulamalıdır. Giriş/çıkış filtreleme, yapılandırılmış yanıtlar ve kısıtlı üretim gibi korkuluklar, AI’nın hassas bilgileri sızdırmamasını veya güvenli olmayan içerik üretmemesini sağlamak için gereklidir. İstemler, model yapılandırmalar veya sistem talimatlarında yapılan değişiklikler günlüğe kaydedilmeli ve kontrolü değiştirmeye tabi olmalıdır.
Dağıtım öncesi testi, özellikle AI kullanım durumlarına göre özel olarak tasarlanmış kırmızı ekip ve rakip egzersizleri içermelidir. Bu, hızlı enjeksiyon, dil çıktısı yoluyla veri eksfiltrasyonunu, model manipülasyonunu ve diğer kötüye kullanım senaryolarını simüle etmeyi içerir. Temsilcinin performansı ve davranışı sadece normal yük altında değil, aynı zamanda stres koşulları ve kötü biçimlendirilmiş girdi altında da değerlendirilmelidir. Dahili verilere bağlı ajanlar için, AI’nın yetkili kapsamının ötesinde hareket edememesini sağlamak için güçlü segmentasyon ve erişim kontrolleri mevcut olmalıdır.
Bir kez yaşadıktan sonra, sürekli izleme kritik hale gelir. Kuruluşlar, anormal davranışı, beklenmedik çıktıları veya güvenlik politikası ihlallerini tespit etmek için çalışma zamanı gözlemlenebilirliği uygulamalıdır. Bu, tüm kullanıcı etkileşimlerini denetim ve adli amaçlar için yeterli ayrıntı ile günlüğe kaydetmeyi ve potansiyel kötüye kullanımı gerçek zamanlı olarak işaretlemeyi içerir. Uygulanabilir olduğunda, son kullanıcılara ulaşmadan önce güvenli olmayan çıktıları bastırmak veya gözden geçirmek için içerik denetleme boru hatları veya yanıt doğrulama katmanları dağıtılmalıdır. İnsan operatörlerine yönlendirme gibi geri dönüş mekanizmaları, güven düşük olduğunda veya yanıt davranışı beklentilerden saptığında tetiklenmelidir.
Siber ekipler ayrıca AI’ya özgü bir olay müdahale planı ile hazırlanmalıdır. Bu, model halüsinasyonları, tamamlamalar yoluyla veri sızıntısı, hızlı enjeksiyon kaynaklı davranış değişiklikleri veya sistem istemlerinin kullanılması gibi AI’ya özgü ortaya çıkan arıza modlarını da kapsamalıdır. Tespit kuralları, uyarılar ve oyun kitapları bu yeni risk kategorilerine uyarlanmalıdır.
Son olarak, operasyonel disiplin kritiktir. Model dağıtımları sürüm kontrollü olmalı, istemler denetlenebilir olmalı ve AI etkileşimlerinden telemetri devam eden tehdit modellemesine beslenmelidir. Yapay zeka harici eklentiler, API’lar veya eylemler gerçekleştiren (kod yürütme veya mesaj gönderme gibi) entegre edilmişse, bu entegrasyonlar katı izler ve onay iş akışları ile kum havuzuna ve yönetilmelidir.