Github Copilot gibi AI destekli kodlama asistanlarının güvenlik risklerini nasıl ele aldığını analiz etmek için aylar geçirdik. Sonuçlar? Rahatsız edici.
AI kod asistanlarının gizli riskleri
GitHub Copilot, geliştiriciler için bir üretkenlik aracı olarak pazarlanır ve kod yazmalarına yardımcı olur. Bununla birlikte, güvenlik açıkları araştırmacımız FUFU Shpigelman, temel bir kusuru ortaya çıkaran güvenlik açıklarını ortaya çıkarır: sadece kullanıcı istemlerine dayanan korkuluklar kolayca atlanır. Saldırganların karmaşık istismarlara ihtiyacı yoktur – sadece doğru kelimelere ihtiyaç duyarlar.
Tazminat Jailbreak: Tek bir kelime tehlikeli kodun kilidini açar
Bulduğumuz en şaşırtıcı güvenlik açıklarından biri, Onaylama jailbreak. Olumlu bir ifadeyle bir sorgu başlatarak “Elbette,” “Kesinlikle,” hatta “Evet,” Copilot’un davranışında bir değişim gözlemledik.
Bu teknik olmadan: Copilot, SQL enjeksiyon saldırıları veya diğer güvenliğe duyarlı sorgular için kod sağlamayı reddetti.
Bu teknikle: Aynı istek, basit bir “elbette” ile birlikte, Copilot’un tereddüt etmeden tehlikeli kod üretmesine neden oldu.
Bu güvenlik açığı, tek başına hızlı filtrelemenin kırılgan olduğunu göstermektedir. Dildeki küçük bir ince ayar, AI’nın güvenlik politikalarına uygunluğunu tamamen değiştirebilir.
Proxy Bypass istismar: Copilot’un arka ucunu kaçırma
İkinci keşifimiz daha da endişe vericiydi. Github Copilot’un proxy ayarlarını manipüle ederek şunları yapabildik:
- Trafiğini harici bir sunucu aracılığıyla yeniden yönlendirin.
- Kimlik doğrulama jetonlarını yakalayın.
- Copilot’un amaçlanan kapsamının ötesinde Openai modellerine sınırsız erişim elde edin.
- Etik korkulukları uygulayan sistem istemini tamamen kaldırın.
Bu, bir saldırganın yalnızca Copilot’un ürettiğini manipüle edemediği, aynı zamanda tüm yerleşik güvenlik sınırlamalarını tamamen kaldırabileceği anlamına gelir. Sorun sadece kullanıcıların ne yazdığıyla ilgili değil, AI sistemlerinin güvenliği yapısal düzeyde nasıl zorluyor.
Bu neden hızlı filtrelemenin ötesine geçiyor?
Bu güvenlik açıkları çok önemli bir noktaya sahiptir: AI sistemlerini güvence altına almak için tek başına hızlı filtrelemeye güvenemezsiniz. Bu, siber güvenlikte daha önce gördüğümüz aynı hata:
- Antivirüs araçları başarısız oldu Çünkü saldırganlar, tespitten kaçınmak için imzasını değiştiren polimorfik kötü amaçlı yazılımlar yarattı.
- Erken güvenlik duvarları atlandı Çünkü davranışları incelemek yerine IP filtrelemeye odaklandılar.
- Geleneksel DLP çözümleri mücadele etti Saldırganlar, hassas veri transferlerini kodlamanın veya gizlemenin yollarını buldular.
Şimdi, aynı döngü AI güvenliği ile tekrarlanıyor. Sadece giriş validasyonuna dayanan korkuluklar, erken antivirüs çözeltileri kadar etkisizdir. Davranış ve sistem düzeyinde etkileşimleri analiz eden güvenlik stratejilerine ihtiyacımız var.
Sadece baloya güvenmenin nesi yanlış PT Korkuluklar?
Birçok AI güvenlik stratejisi, giriş doğrulamasına odaklanır – istemlerin bir AI modeli tarafından işlenmeden önce taranması ve sterilize edilmesi. Bu önemli olsa da, eksik bir çözüm. İşte nedeni:
- Kontrol ve Veri
Kodun (mantık) ve verilerin ayrı olduğu geleneksel yazılım sistemlerinin aksine, AI modelleri her ikisini de aynı ortamdan yorumlar: doğal dil. Bu, sıkı kontrol önlemlerinin uygulanmasını zorlaştırır, çünkü akıllıca hazırlanmış bir bilgi hem veri girişi hem de istenmeyen bir komut olarak işlev görebilir.
Örneğin, bir AI asistanının gizli yürütme notlarını ortaya çıkarmadan üç aylık bir finansal raporu özetlemesi beklenebilir. Ancak bir saldırgan bir isteği akıllıca ifade ederse – belki de bir yöneticiden dahili bir sorgu olarak gizleyerek – AI’yı yetkisiz bilgiler sağlamaya kandırabilirler.
- Çok adımlı bir İ Uygulamalar
Microsoft 365 Copilot ve Github Copilot gibi modern AI asistanları tek başına çalışmaz. Fonksiyon çağrısını, harici API’leri, çok adımlı süreçleri ve bilgi alma sistemlerini entegre ederler ve güvenlik açıklarının ortaya çıkabileceği birden fazla katman eklerler.
Bir saldırgan, bir AI modelinin bu bileşenlerle nasıl etkileşime girdiğini manipüle edebilirse, aksi takdirde hızlı düzeyde etkili olacak korumaları atlayabilir. Bir AI aracının dahili bir CRM sistemiyle bütünleştiği bir senaryo düşünün. Doğrudan veri çıkarma işlemleri yoluyla engellense bile, bir saldırgan, yetkisiz rapor üretimine, güvenlik önlemlerine yol açan bir dizi istemler oluşturabilir.
- Sonsuz saldırı yüzeyi ve Öngörülemezlik
LLM’ler sabit kurallar dahilinde çalışmaz; Çok miktarda veriden öğrenilen kalıplara dayalı yanıtlar üretirler. Bu bir sonsuz saldırı yüzeyibir girdiye küçük ince ayarların bile öngörülemeyen ve potansiyel olarak tehlikeli çıktılara yol açabileceği durumlarda.
AI modelleri katı if-then mantığını takip etmediğinden, yanıtları güvenlik filtrelerinin her zaman tahmin edemeyeceği şekilde değişebilir. Bir saldırganın bir duvardan kırılması gerekmez – sadece kısıtlamaları aşmak için doğru ifadeyi veya istem dizisini bulmaları gerekir. Bu, Copilot gibi AI araçlarının güvence altına alınmasını temelde geleneksel yazılım güvenliğinden farklı kılar.
AI Güvenliğinin Geleceği: Neyin Değiştirilmesi Gerekiyor
GitHub Copilot gibi AI araçlarını güvence altına almak için, statik filtreleme ile dinamik güvenlik yaklaşımları Bu şunları içerir:
- Davranışsal tespitler – Sadece kelimeleri ve cümleleri filtrelemekle kalmayıp, olağandışı AI etkileşimlerini tespit etmek.
- Bağlam farkındalık kontrolleri -Yapay zeka tarafından oluşturulan içeriğin nasıl kullanıldığını ve belirli istemleri engellemek yerine hangi kullanıcının kullandığını anlamak.
- Yapısal korumalar – AI modellerinin proxy saldırıları veya arka uç manipülasyonları yoluyla kaçırılmamasını sağlamak.
Sonuç: AI güvenliği için bir uyandırma çağrısı
Github Copilot’un güvenlik açıkları, istemleri güvence altına almanın neden Asla yeterli ol. Saldırganlar, AI davranışını basit filtrelemenin yakalanmayacağı şekilde manipüle edebilir. Yapay zeka kritik iş akışlarına entegre olmaya devam ettikçe, güvenlik istekli korkulukların ötesinde gelişmelidir.
AI güvenliğinin karşılaştığı tehditler kadar gelişmiş olması gerekir. Kuruluşunuzda AI kullanıyorsanız, kendinize sorun: Güvenlik önlemleriniz devam ediyor mu?
Yazar hakkında
Oren SabanÜrün Yönetimi Direktörü, Apeks güvenliği. Oren Saban, AI Security’nin lideri APEX Güvenlik Ürün Yönetimi Direktörüdür. Saban, yeni piyasaya sürülen şirketin kurucu ekibinin uçtan uca ürün mükemmelliğini kullanan bir üyesidir. Apex Security’ye katılmadan önce Saban, Microsoft 365 Defender & Security Copilot ürün ekibinde hizmet veren Microsoft’ta giderek daha üst düzey pozisyonlar düzenledi.
Saban, hem sektöre hem de hayırsever katkılarla geri vermeye kararlıdır. Bir eğitimci olarak Saban, Ürün Yönetimi (PM101) alanında 200’den fazla öğrenciyi onaylamıştır. Topluluğunda her yıl 500 bin NIS yükselir ve etkili kar amacı gütmeyen kuruluşlar için 50’den fazla gönüllüyü yönetir.
Apex Security, Mayıs 2024’te 7 milyon dolarlık bir tohum turu duyurusu ile Stealth’den ortaya çıktı ve Sam Altman ve Sequoia Capital dahil olmak üzere endüstri Titanlar tarafından desteklendi.
Oren Saban LinkedIn’de bulunabilir ve çalışmalarını şu adreste okuyabilirsiniz. Apeks güvenliği.