LLM uygulamaları için OWASP Top 10, hızlı enjeksiyonu LLM’lerin bir numaralı riski olarak tanımlar ve “bir saldırganın doğrudan veya dolaylı olarak hazırlanmış girdiler yoluyla güvenilir bir LLM’nin çalışmasını manipüle ettiği” bir güvenlik açığı olarak tanımlar.
Hızlı enjeksiyon, veri ihlalleri ve hırsızlık, sistem devralma, finansal hasarlar ve yasal/uyum yansımaları dahil olmak üzere bir kuruluşu önemli ölçüde etkileyebilir.
Hızlı enjeksiyona daha yakından bakalım – ne, nasıl kullanıldığı ve nasıl düzeltileceği.
Hızlı enjeksiyon nedir?
Büyük dil modellerindeki (LLM’ler) hızlı enjeksiyon güvenlik açıkları, model kullanıcı girişini istemi bir parçası olarak işlediğinde ortaya çıkar. Bu güvenlik açığı, kullanıcı girişinin bir SQL sorgusuna enjekte edildiği SQL enjeksiyonu veya uygulamalara kötü niyetli komut dosyalarının enjekte edildiği SQL enjeksiyonu gibi diğer enjeksiyon tipi güvenlik açıklarına benzer. Hızlı enjeksiyon saldırılarında, saldırganların orijinal talimatları ve kullanılan kontrolleri geçersiz kılmasını veya yıkmasını sağlayan istemciye kötü niyetli girdi enjekte edilir.
Örneğin, okuyucular için makalelerin özlü özetlerini oluşturmak için LLM ile çalışan bir özetleme aracı kullanan bir haber web sitesi, doğrudan istemine eklenen kullanıcı verilerini kabul eder. Özetleme aracındaki hızlı bir enjeksiyon güvenlik açığı, bir saldırganın kullanıcı verilerinde kötü niyetli öğretim enjekte etmesine izin verebilir, bu da özetleme talimatını geçersiz kılar ve bunun yerine saldırgan tarafından sağlanan talimatları yürütür.
Hızlı enjeksiyon genel olarak iki kategoride sınıflandırılabilir:
- Doğrudan hızlı enjeksiyon: Bu bazen ‘Jailbreaking’ olarak da adlandırılır. Doğrudan hızlı enjeksiyonlarda, saldırgan LLM girişini istemler yoluyla doğrudan etkiler.
- Dolaylı hızlı enjeksiyon: Dolaylı hızlı enjeksiyon, bir saldırgan, modelin yuttuğu veri kaynaklarına kötü niyetli istemleri enjekte ettiğinde meydana gelir.
Hızlı enjeksiyonun iş etkisi
- Veri ihlalleri: Bir saldırgan hızlı bir enjeksiyon kusuru yoluyla keyfi kod yürütebilirse, müşteri kayıtları, finansal bilgiler, ticari sırlar vb. Gibi hassas iş verilerine erişebilir ve sunabilirler. ve itibar hasarı.
- Sistem Devralma: Başarılı bir hızlı enjeksiyon saldırısı, düşmanın savunmasız sistem üzerinde yüksek ayrıcalıklar veya tam kontrol kazanmasına izin verebilir. Bu, işlemleri bozabilir, daha fazla yan hareket sağlayabilir ve daha yıkıcı eylemler için bir dayanak sağlayabilir.
- Mali Kayıplar: Hızlı enjeksiyon hatalarının kullanımından kaynaklanan veri ihlalleri ve hizmet kesinti süresi, olay müdahale maliyetleri, düzenleyici para cezaları/cezaları, müşteri güveni kaybı ve iş fırsatları, fikri mülkiyet hırsızlığı ve daha fazlası nedeniyle işletmeler için önemli finansal kayıplara neden olabilir.
- Düzenleyici Cezalar: Sektöre ve maruz kalan verilere bağlı olarak, sistem sistemlerinin hızlı enjeksiyon kusurlarından uygun şekilde güvence altına alınamaması, GDPR, HIPAA, PCI-DSS, vb. Gibi uyum düzenlemelerini ihlal edebilir.
- İtibar hasarı: Hızlı bir enjeksiyon kırılganlığının aktif olarak kullanılması halka açık bir şekilde açıklanması, bir şirketin güvenlik itibarını ve müşteriler ve ortaklarla güvenilirliğini ciddi şekilde karartabilir.
Bilgisayar korsanları hızlı enjeksiyon hakkında ne diyor?
Birçok hacker artık AI ve LLM’lerde uzmanlaşıyor ve hızlı enjeksiyon keşfettikleri önemli bir güvenlik açığı. Güvenlik Araştırmacısı Katie Paxton-Fear aka @Insiderphd bizi hızlı enjeksiyon konusunda uyarıyor:
“Teknolojinin olgunlaştığını ve karmaşıklık içinde büyüdüğünü gördüğümüzde, onu kırmanın daha fazla yolu olacak. Hemen enjeksiyon veya AI modelinin eğitim verilerini hatırlaması veya verileri zehirlemesi gibi AI sistemlerine özgü güvenlik açıkları görüyoruz. Bu güvenlik zorluklarının üstesinden gelmek için yapay zeka ve insan zekasına ihtiyacımız var. ”
Hacker Joseph Thacker AKA @Rez0_ Bu örneği hızlı enjeksiyonun gücünü anlamak için kullanıyor:
“Bir saldırgan, LLM işlev çağrısı için bağlamın kontrolünü ele geçirmek için hızlı enjeksiyon kullanıyorsa, web tarayıcısını arayarak ve saldırganın yanına eklenmiş verileri hareket ettirerek verileri dışarı atabilirler. Veya bir saldırgan, e -postaları okumak ve yanıtlamakla görevli bir LLM’ye hızlı bir enjeksiyon yükü e -postayla gönderebilir. ”
Hızlı bir enjeksiyon güvenlik açığının gerçek dünyası örneği
Organizasyon: Google
Güvenlik Açığı: Dolaylı hızlı enjeksiyon
Özet
Hacker Joseph “Rez0” Thacker, Johann Rehberger ve Kai Greshake, Gemini olarak adlandırılan Genai asistanı Bard’ı hackleyerek Google’ın AI Red takımını güçlendirmek için işbirliği yaptı.
Bard’ın Uzantıları AI özelliğinin başlatılması, Bard’a Google Drive, Google Dokümanlar ve Gmail’e erişim sağladı. Bu, Bard’ın kişisel olarak tanımlanabilir bilgilere erişebileceği ve hatta e -postaları okuyabileceği ve belgelere ve yerlere erişebileceği anlamına geliyordu. Bilgisayar korsanları, Bard’ın güvenilmeyen verileri analiz ettiğini ve rızası olmadan kullanıcılara teslim edilebilen dolaylı hızlı enjeksiyon saldırılarına duyarlı olabileceğini tespit ettiler.
Saldırı akışı
- Kurban, paylaşılan bir Google belgesiyle etkileşim kurmak için Bard’ı kullanır
- Paylaşılan Google belgesi, kötü niyetli bir şekilde hazırlanmış bir enjeksiyon içerir
- Hızlı enjeksiyon, ozur ve kişisel verileri/bilgileri bir görüntü URL’sine kodlamak için kandırır
- 
- Saldırgan sunucuyu kontrol eder ve görüntü URL’sine erişildiğinde yapılan GET isteği aracılığıyla kodlanmış verileri alır.
- İçerik Güvenlik Politikası (CSP) kısıtlamalarını, rastgele konumlardan oluşturma görüntülerini engelleyebilecek kısıtlamaları atlamak için, saldırı Google Apps komut dosyalarından yararlanır.
- Uygulama komut dosyası, kodlanan verileri resim URL’sinden saldırganın erişebileceği başka bir Google belgesine dışa aktarmak için kullanılır.
Darbe
Bard uzantılarının piyasaya sürülmesinden 24 saatten daha kısa bir sürede, bilgisayar korsanları şunları gösterebildiler:
- Google Bard, uzantılardan elde edilen veriler yoluyla dolaylı hızlı enjeksiyon saldırılarına karşı savunmasızdı.
- Kötü niyetli görüntü işaretleme enjeksiyon talimatları güvenlik açığından yararlanacaktır.
- Hızlı bir enjeksiyon yükü, kullanıcıların sohbet geçmişini ekspiltratlayabilir.
İyileştirme
Sorun 19 Eylül 2023’te Google VRP’ye bildirildi ve bir ay sonra, minnettar bir Google’ın bir düzeltme yapıldığını doğruladı.
Hızlı enjeksiyonun hafifletilmesi için en iyi uygulamalar hala gelişmektedir. Bununla birlikte, uygun girdi sanitizasyonu, LLM güvenlik duvarlarının ve korkulukların kullanılması, erişim kontrolü uygulanması, güvenilmeyen verilerin kod olarak yorumlanması, hızlı enjeksiyon saldırılarını önlemenin yollarından bazılarıdır.
Hackerone ile organizasyonunuzu hızlı enjeksiyondan koruyun
Bu, hızlı bir enjeksiyon kırılganlığının yaygınlık ve etki şiddetinin sadece bir örneğidir. Hackerone ve etik hackerlar topluluğumuz, organizasyonların hızlı bir şekilde enjeksiyonu ve diğer AI güvenlik açıklarını tanımlamalarına ve düzeltmelerine yardımcı olmak için en iyi donanımlıdır, ister hata ödül, bir hizmet olarak (PTAA’lar), kod güvenlik denetimi veya diğer çözümleri, saldırganın zihnini göz önünde bulundurarak bir güvenlik açığı keşfetmek.
Genai güvenlik açıklarının etkisi hakkında daha fazla bilgi edinmek için 8. Yıllık Hacker destekli güvenlik raporunu indirin veya kuruluşunuzda Genai Hızlı Enjeksiyonu almaya başlamak için hackerone ile iletişime geçin.