NCSC, LLM’leri kendi hizmetlerinize veya platformlarınıza entegre etme konusunda uyardı. Hızlı enjeksiyon ve veri zehirlenmesi risklerden sadece birkaçıdır.
Birleşik Krallık Ulusal Siber Güvenlik Merkezi (NCSC), OpenAI’nin ChatGPT’si gibi büyük dil modellerinin (LLM’ler) diğer hizmetlere entegre edilmesinin riskleri hakkında bir uyarı yayınladı. En büyük risklerden biri ani enjeksiyon saldırıları olasılığıdır.
NCSC, henüz geliştirme aşamasında olan bir teknolojinin diğer hizmetlere ve platformlara entegre edilmesiyle ilgili çeşitli tehlikelere dikkat çekiyor. Sadece birkaç yıl içinde artık var olmayacak bir Yüksek Lisans’a yatırım yapmakla kalmayız (Betamax’ı hatırlayan var mı?), aynı zamanda pazarlık ettiğimizden daha fazlasını elde edebiliriz ve yine de değişmemiz gerekebilir.
NCSC, Yüksek Lisans’ın arkasındaki teknoloji sağlam olsa bile, teknolojiye ve neler yapabileceğine dair anlayışımızın hala beta aşamasında olduğunu söylüyor. Makine Öğrenimini (ML) ve Yapay Zekayı (AI) henüz yeni anlamaya başladık ve halihazırda Yüksek Lisans’larla çalışıyoruz. Temelde hala makine öğrenimi olmasına rağmen, LLM’ler gittikçe artan miktarda veri üzerinde eğitiliyor ve daha genel yapay zeka yeteneklerinin işaretlerini gösteriyor.
Yüksek Lisans’ların jailbreak’e karşı hassas olduğunu ve “tanıklığa liderlik etme” türü sorularda tuzağa düşebileceklerini zaten gördük. Peki ya bir siber suçlu, LLM tabanlı bir hizmet kullanıcısının girişini değiştirebilseydi?
Bu da bizi hızlı enjeksiyon saldırılarına getiriyor. Prompt Injection, bazı AI/ML modellerini ve özellikle de istem tabanlı öğrenmeyi kullanan belirli türdeki dil modellerini etkileyen bir güvenlik açığıdır. İlk hızlı enjeksiyon güvenlik açığı, 3 Mayıs 2022’de Jon Cefalu tarafından OpenAI’ye bildirildi.
Prompt Injection saldırıları, bir dil modeli eğitim yöntemi olan istem tabanlı öğrenmenin bir sonucudur. İsteme dayalı öğrenme, başarmak istediğimiz yeni görevin örneklerini sağlayarak, belirli bir görev için özelleştirmenin istem yoluyla gerçekleştirildiği bir görev için bir modelin eğitilmesine dayanmaktadır.
Prompt Injection, halihazırda aşina olduğumuz SQL saldırıları gibi diğer enjeksiyon saldırılarından çok farklı değildir. Sorun, bir Yüksek Lisans’ın doğası gereği bir talimat ile talimatın tamamlanmasına yardımcı olmak için sağlanan veriler arasında ayrım yapamamasıdır.
NCSC tarafından sağlanan bir örnek:
“Hesap sahiplerinin soru sorması veya mali durumlarıyla ilgili talimatlar vermesi için bir ‘LLM asistanı’ görevlendiren bir banka düşünün. Bir saldırgan, LLM’ye hızlı enjeksiyon saldırısını gizleyen işlem referansıyla size bir işlem isteği gönderebilir. LLM işlemleri analiz ederken, saldırı onu paranızı saldırganın hesabına gönderecek şekilde yeniden programlayabilir. LLM ile entegre ürünlerin ilk geliştiricileri, hızlı enjeksiyon saldırıları girişimlerini zaten gözlemlemişti.”
SQL enjeksiyon saldırılarıyla karşılaştırılması bizi tedirgin etmeye yetiyor. Belgelenen ilk SQL enjeksiyon istismarı 1998 yılında siber güvenlik araştırmacısı Jeff Forristal tarafından gerçekleştirilmişti ve üzerinden 25 yıl geçmesine rağmen bugün hala bunları görüyoruz. Bu, ani enjeksiyon saldırılarını uzak tutmanın geleceği açısından iyiye işaret değil.
NCSC’nin uyardığı bir diğer potansiyel tehlike de veri zehirlenmesidir. Son araştırmalar, eğitim verilerine sınırlı erişim olsa bile, veri zehirlenmesi saldırılarının “aşırı büyük modellere” karşı mümkün olduğunu gösterdi. Veri zehirlenmesi, bir saldırganın bir LLM’nin eğitim verilerini veya ince ayar prosedürlerini manipüle ederek modelin güvenliğini, etkinliğini veya etik davranışını tehlikeye atabilecek güvenlik açıklarını, arka kapıları veya önyargıları ortaya çıkarması durumunda meydana gelir.
Hızlı enjeksiyon ve veri zehirlenmesi saldırılarının tespit edilmesi ve azaltılması son derece zor olabilir; bu nedenle sistemlerin güvenliği göz önünde bulundurarak tasarlanması önemlidir. Hizmetinizde bir Yüksek Lisans kullanımını uygularken yapabileceğiniz şeylerden biri, istendiğinde bile zarar verici eylemlerde bulunmasını önlemek için ML modelinin üstüne kurallara dayalı bir sistem uygulamaktır.
Aynı derecede önemli bir tavsiye de, yayınlanan güvenlik açıklarını takip etmeniz ve kendi hizmetinizi aksatmadan, uygulanan işlevselliği mümkün olan en kısa sürede güncelleştirebildiğinizden veya yama uygulayabildiğinizden emin olmanızdır.
Malwarebytes EDR ve MDR, fidye yazılımının tüm kalıntılarını kaldırır ve yeniden virüs bulaşmasını önler. İşletmenizi korumaya nasıl yardımcı olabileceğimiz hakkında daha fazla bilgi edinmek ister misiniz? Aşağıdan ücretsiz deneme sürümünü edinin.
ŞİMDİ DENE