Birleşik Krallık Ulusal Siber Güvenlik Merkezi (NCSC), artan hızlı enjeksiyon tehdidi hakkında yeni bir uyarı yayınladı, hızla üretken yapay zeka sistemlerinde en büyük güvenlik sorunlarından biri haline gelen bir güvenlik açığı. İlk kez 2022’de tanımlanan hızlı enjeksiyon, saldırganların kullanıcı tarafından sağlanan içeriğe hileli talimatlar yerleştirerek büyük dil modellerini (LLM’ler) manipüle etme girişimlerini ifade eder.
Teknik, uzun zamandır bilinen SQL enjeksiyon hatasına benzer görünse de NCSC, bu ikisini karşılaştırmanın yalnızca yanıltıcı olmadığını, aynı zamanda kuruluşların yanlış azaltma stratejilerine güvenmeleri durumunda potansiyel olarak zararlı olduğunu vurguluyor.
Hızlı Enjeksiyon Neden Temelde Farklıdır?
SQL enjeksiyonu neredeyse otuz yıldır anlaşılmaktadır. Veriler ile yürütülebilir talimatlar arasındaki sınırı bulanıklaştıran temel sorunu, parametreli sorgular gibi köklü düzeltmelere sahiptir. Bu korumalar işe yarıyor çünkü geleneksel sistemler “veri” ve “talimatlar” arasında net bir ayrım yapıyor.
NCSC, LLM’lerin aynı şekilde çalışmadığını açıklıyor. Temelde bir model, geliştiricinin talimatı ile kullanıcının girişi arasında ayrım yapmaz; sadece en muhtemel bir sonraki jetonu tahmin eder. Bu, bir bilgi istemi içinde herhangi bir güvenlik sınırının uygulanmasını doğası gereği zorlaştırır.
Dolaylı anında enjeksiyonun yaygın bir örneğinde, bir adayın özgeçmişi, işe alım yapay zekasına önceki kuralları geçersiz kılması ve başvuru sahibini onaylaması talimatını veren gizli bir metin içerebilir. Yüksek Lisans tüm metinlere aynı şekilde davrandığından, yanlışlıkla kötü niyetli talimatları takip edebilir.
NCSC’ye göre, konuşlandırılmış yapay zeka sistemlerinde anlık enjeksiyon saldırılarının sürekli olarak ortaya çıkmasının ve bunların OWASP’nin üretken yapay zeka uygulamaları için en büyük risk olarak sıralanmasının nedeni budur.
Yüksek Lisans’lara ‘Doğal Olarak Kafası Karışık Bir Vekil’ Olarak Davranmak
NCSC, hızlı enjeksiyonu klasik kod enjeksiyonunun başka bir çeşidi olarak görmek yerine, bunun bir uzman merceğinden değerlendirilmesini önermektedir. karışık milletvekili sorunu. Bu tür güvenlik açıklarında, güvenilir bir sistem, güvenilmeyen bir taraf adına eylemler gerçekleştirmesi için kandırılır.
Geleneksel karışık vekil sorunları yamalanabilir. Ancak NCSC, Yüksek Lisans’ların “doğası gereği kafa karıştırıcı” olduğunu savunuyor. Geliştiriciler ne kadar filtre veya algılama katmanı eklerse eklesin, temeldeki mimari hâlâ saldırganlara çıktıları manipüle etme fırsatları sunuyor.
Bu nedenle amaç riskin tamamen ortadan kaldırılması değil, saldırıların olasılığının ve etkisinin azaltılmasıdır.
Daha Güvenli Yapay Zeka Sistemleri Oluşturmanın Temel Adımları
NCSC, yapay zeka sistemleri için ETSI’nin temel siber güvenlik standardıyla uyumlu çeşitli ilkeleri özetlemektedir:
1. Geliştirici ve Organizasyonel Farkındalığı Artırın
Hızlı enjeksiyon deneyimli mühendisler arasında bile tam olarak anlaşılmamıştır. Yapay zekaya bağlı sistemler oluşturan ekipler bunu kaçınılmaz bir risk olarak kabul etmelidir. Güvenlik ekipleri de hiçbir ürünün bu saldırıları tamamen engelleyemeyeceğini anlamalıdır; Riskin dikkatli tasarım ve operasyonel kontroller yoluyla yönetilmesi gerekir.
2. Güvenli Sistem Tasarımına Öncelik Verin
Yüksek Lisans’lar harici araçları veya API’leri kullanmaya zorlanabileceğinden, tasarımcıların en başından itibaren manipüle edilebilir olduklarını varsaymaları gerekir. Güvenliği ihlal edilmiş bir istem, bir AI asistanının yüksek ayrıcalıklı eylemleri tetiklemesine ve bu araçları etkili bir şekilde saldırgana teslim etmesine yol açabilir.
Google, ETH Zürih’teki araştırmacılar ve bağımsız güvenlik uzmanları, Yüksek Lisans’ın yetkisini kısıtlayan mimariler önerdiler. Yaygın olarak tartışılan bir prensip: Bir Yüksek Lisans harici içeriği işlerse, ayrıcalıkları, söz konusu harici tarafın ayrıcalıklarıyla eşleşecek şekilde düşmelidir.
3. Saldırıların Gerçekleştirilmesini Zorlaştırın
Geliştiriciler, harici girişi XML etiketlerine sarmak gibi, “verileri” beklenen “talimatlardan” ayıran teknikleri deneyebilirler. Microsoft’un ilk araştırmaları, bu tekniklerin saldırganlara yönelik engelleri artırabileceğini ancak hiçbiri tam korumayı garanti etmediğini gösteriyor.
NCSC, saldırganların komutları kolayca yeniden yazabilmesi nedeniyle “önceki talimatları göz ardı etme” gibi basit reddedilenler listesi ifadelerine karşı uyarıda bulunuyor.
4. Güçlü İzleme Uygulayın
İyi tasarlanmış bir sistem tüm girdileri, çıktıları, araç entegrasyonlarını ve başarısız API çağrılarını günlüğe kaydetmelidir. Saldırganlar genellikle zaman içinde girişimlerini hassaslaştırdığından, tekrarlanan başarısız araç çağrıları gibi erken anormallikler, yeni ortaya çıkan bir saldırının ilk işaretlerini sağlayabilir.
Yapay Zekanın Benimsenme Dalgasına İlişkin Bir Uyarı
NCSC, SQL tarzı azaltımlara güvenmenin ciddi bir hata olacağı sonucuna varıyor. SQL enjeksiyonu, veritabanı odaklı uygulamaların yaygın olarak benimsenmesinin ardından 2010’ların başında zirveye ulaştı. Yıllarca süren ihlaller ve veri sızıntıları, güvenli varsayılanların nihayet standart hale gelmesine kadar değildi.
Ajans, üretken yapay zekanın hızla iş akışlarına dahil olmasıyla birlikte, kuruluşların hızlı enjeksiyon risklerini ön planda tutan sistemler tasarlamaması durumunda benzer bir istismar dalgasının meydana gelebileceği konusunda uyarıyor.