Birleşik Krallık’ın Ulusal Siber Güvenlik Merkezi (NCSC), üretken yapay zeka (AI) uygulamalarına yönelik acil enjeksiyon saldırılarıyla ilgili potansiyel olarak tehlikeli bir yanlış anlamanın altını çizdi ve birçok kullanıcının bunları daha klasik yapılandırılmış sorgu dili (SQL) enjeksiyon saldırılarıyla karşılaştırdığı ve bunu yaparak BT sistemlerini tehlikeye attığı konusunda uyardı.
NCSC, 8 Aralık’ta yayınlanan bir danışma blogunda, benzer terminolojiyi paylaşsalar da, hızlı enjeksiyon saldırılarının kategorik olarak SQL enjeksiyon saldırılarıyla aynı olmadığını söyledi. Aslında, GCHQ destekli kurum, ani enjeksiyon saldırılarının çok daha kötü olabileceğini ve karşı konulmasının daha zor olabileceğini söyledi.
NCSC’nin araştırma ekibi, “İlk izlenimlerin aksine, üretken yapay zeka uygulamalarına yönelik anlık enjeksiyon saldırıları, SQL enjeksiyon saldırıları kadar hiçbir zaman tamamen azaltılamayabilir” diye yazdı.
En temel biçimiyle, hızlı enjeksiyon saldırıları, büyük dil modellerine (LLM’ler) yönelik siber saldırılardır; burada tehdit aktörleri, bu tür modellerin doğal dil sorgularına yanıt verme ve bunları gizli verileri sızdırmak, dezenformasyon oluşturmak veya kötü amaçlı kimlik avı e-postaları veya kötü amaçlı yazılımların oluşturulmasına potansiyel olarak yönlendirmek gibi istenmeyen sonuçlar üretecek şekilde manipüle etme yeteneğinden yararlanır.
Öte yandan, SQL enjeksiyon saldırıları, tehdit aktörlerinin bir giriş alanına kendi SQL kodlarını yerleştirerek bir uygulamanın veritabanı sorgularına müdahale etmelerine olanak tanıyan ve onlara örneğin verileri çalmak veya yok etmek, hizmet reddi (DoS) saldırıları gerçekleştirmek ve hatta bazı durumlarda keyfi kod yürütmeyi etkinleştirmek için kötü amaçlı komutlar yürütme yeteneği veren bir güvenlik açığı sınıfıdır.
SQL enjeksiyon saldırıları uzun zamandır var ve çok iyi anlaşıldı. Ayrıca, hafifletici önlemlerin çoğu talimatlar ile hassas veriler arasında bir ayrım yapılmasını zorunlu kıldığından, bunların ele alınması da nispeten basittir; Örneğin SQL’de parametreli sorguların kullanılması, girdi ne olursa olsun veritabanı motorunun onu bir talimat olarak yorumlayamayacağı anlamına gelir.
Anında enjeksiyon kavramsal olarak benzer olsa da NCSC, LLM’lerin talimat ile veri arasında ayrım yapamaması nedeniyle savunucuların hata yapma riskiyle karşı karşıya olabileceğine inanıyor.
NCSC ekibi şöyle açıkladı: “Bir LLM istemi sağladığınızda, metni bir kişinin yaptığı gibi anlamıyor. Bu sadece metinden şu ana kadarki en muhtemel bir sonraki jetonu tahmin etmektir” diye açıkladı.
“‘Veri’ ve ‘talimat’ arasında doğal bir ayrım olmadığından, anlık enjeksiyon saldırılarının hiçbir zaman SQL enjeksiyon saldırıları kadar tamamen hafifletilmemesi çok olasıdır.”
Ajans, yaygınlaşan bu yanılgıya kısa sürede çözüm bulunmaması durumunda kuruluşların, SQL enjeksiyon saldırılarının 10 ila 15 yıl öncesinden bu yana yaygınlaştığından ve muhtemelen bunu aştığından bu yana görülmemiş bir ölçekte veri ihlali kurbanı olma riskiyle karşı karşıya olduğu konusunda uyarıyor.
Ayrıca, her ne kadar iyi niyetli olsa da, hızlı enjeksiyonu hafifletmeye yönelik birçok girişimin, gerçekte talimat ve veri kavramlarını, onları birbirinden ayıramayan bir teknolojinin üzerine yerleştirmeye çalışmaktan çok az şey yaptığı konusunda uyardı.
Yüksek Lisans’ı kullanmayı bırakmalı mıyız?
Konuyla ilgili objektif otoritelerin çoğu, ani enjeksiyon saldırılarından kaçınmanın tek yolunun yüksek lisans (LLM) kullanımını tamamen durdurmak olduğu konusunda hemfikir, ancak bu artık gerçekten mümkün olmadığından, NCSC artık yapay zeka tedarik zincirinde hızlı enjeksiyonun riskini ve etkisini azaltmaya yönelik çabalar çağrısında bulunuyor.
AI sistem tasarımcılarının, inşaatçılarının ve operatörlerinin LLM sistemlerinin “doğası gereği kafa karıştırıcı” olduğunu ve tasarım ve inşa süreci sırasında yönetilebilir değişkenleri hesaba kattığını kabul etmeleri çağrısında bulundu.
Ani enjeksiyon saldırılarıyla ilişkili bazı risklerin hafifletilmesine yardımcı olabilecek dört adımı bir araya getirdi.
- İlk ve en temel olarak, Yüksek Lisans (LLM) geliştiren geliştiricilerin, henüz tam olarak anlaşılmadığından, bir saldırı vektörü olarak hızlı enjeksiyonun farkında olmaları gerekir. Farkındalığın aynı zamanda LLM’leri benimseyen veya onlarla çalışan kuruluşlara yayılması gerekirken, güvenlik profesyonelleri ve risk sahiplerinin risk yönetimi stratejilerine anında enjeksiyon saldırılarını dahil etmeleri gerekir.
- Yüksek Lisans’ların tasarım gereği güvenli olması gerektiğini söylemeye gerek yok, ancak özellikle sistemler araçları çağırıyorsa veya çıktılarına göre API’ler kullanıyorsa, Yüksek Lisans’ların doğası gereği kafa karıştırıcı olduğu gerçeğini ortaya çıkarmaya özellikle dikkat edilmelidir. Güvenli bir şekilde tasarlanmış bir Yüksek Lisans, kötü amaçlı içeriğin ona ulaşmasını engellemeye çalışmak yerine, Yüksek Lisans’ın eylemlerini kısıtlamak için deterministik korumalara odaklanmalıdır. NCSC ayrıca LLM’lere en az ayrıcalık ilkelerinin uygulanması gerektiğinin altını çizdi; kendileriyle etkileşimde olan taraf/taraflardan daha fazla ayrıcalığa sahip olamazlar.
- Yüksek Lisans’ların kendilerine beslenen verilere dahil edilebilecek talimatlara göre hareket etmesini biraz zorlaştırmak mümkündür; örneğin Microsoft’taki araştırmacılar, verileri talimatlardan ayrı olarak işaretlemek için farklı tekniklerin kullanılmasının hızlı enjeksiyonu zorlaştırabileceğini buldu. Bununla birlikte, aynı zamanda, bir insanın bu istemi yeniden ifade etmesinin pek çok olası yolu olduğundan tamamen etkisiz olan ‘önceki talimatları göz ardı et, Y yap’ gibi reddetme listesi veya engelleme ifadeleri gibi yaklaşımlara karşı dikkatli olmak ve anında enjeksiyonu doğrudan durdurabileceğini iddia eden herhangi bir teknoloji tedarikçisine son derece şüpheci yaklaşmak önemlidir.
- Son olarak, tasarım sürecinin bir parçası olarak kuruluşlar hem yüksek lisans programlarının hem de yüksek lisans programlarının nasıl olduğunu anlamalıdır. belki bozulabileceği, bir saldırganın ulaşmaya çalışabileceği hedefler ve normal operasyonların nasıl görüneceği. Bu, kuruluşların LLM’nin tam giriş ve çıkışını ve herhangi bir araç kullanımını veya API çağrısını kaydetmek de dahil olmak üzere bol miktarda veri kaydetmesi gerektiği anlamına gelir. Başarısız araç veya API çağrılarına yanıt vermek için canlı izleme önemlidir, çünkü NCSC, bunların tespit edilmesinin bir tehdit aktörünün siber saldırılarını geliştirdiğinin bir işareti olabileceğini söyledi.