Soru: Büyük dil modeli (LLM) güvenliği hakkında gerçekte ne biliyoruz? Ve iş hayatında Yüksek Lisans'ı kullanarak kaosa ön kapıyı isteyerek mi açıyoruz?
Rob Gurzeev, CyCognito CEO'su: Hayal edin: Mühendislik ekibiniz, “kod yazmak” ve bir uygulamayı hızlı bir şekilde geliştirmek için Yüksek Lisans'ın muazzam yeteneklerinden yararlanıyor. Bu, işletmeniz için oyunun kurallarını değiştirecek; geliştirme hızları artık çok daha hızlı. Pazara çıkış süresinde %30 oranında tasarruf sağladınız. Kuruluşunuz, paydaşlarınız ve son kullanıcılarınız için bu bir kazan-kazan durumudur.
Altı ay sonra uygulamanızın müşteri verilerini sızdırdığı bildirildi; jailbreak'lenmiş ve kodu değiştirilmiş. şimdi sen SEC ihlalleriyle karşı karşıya ve müşterilerin çekip gitme tehdidi.
Verimlilik kazanımları caziptir ancak riskler göz ardı edilemez. Geleneksel yazılım geliştirmede güvenlik için köklü standartlara sahip olsak da Yüksek Lisans'lar, güvenlik konusunda nasıl hareket ettiğimizi yeniden düşünmemizi gerektiren kara kutulardır.
LLM'ler için Yeni Tür Güvenlik Riskleri
Yüksek Lisans'lar bilinmeyen risklerle doludur ve daha önce geleneksel yazılım geliştirmede görülmemiş saldırılara açıktır.
-
Hızlı enjeksiyon saldırıları İstenmeyen veya zararlı yanıtlar üretmek için modelin manipüle edilmesini içerir. Burada saldırgan stratejik olarak LLM'yi aldatmak için istemleri formüle ederYapay zekanın (AI) sorumlu kullanımını sağlamak için uygulanan güvenlik önlemlerini veya etik kısıtlamaları potansiyel olarak atlayabilirsiniz. Sonuç olarak, LLM'nin yanıtları amaçlanan veya beklenen davranıştan önemli ölçüde sapabilir ve yapay zeka odaklı uygulamaların gizliliği, güvenliği ve güvenilirliği açısından ciddi riskler oluşturabilir.
-
Güvenli olmayan çıktı işleme Yüksek Lisans veya benzeri bir yapay zeka sistemi tarafından oluşturulan çıktının, yeterli inceleme veya doğrulamaya tabi tutulmadan kabul edilmesi ve bir yazılım uygulamasına veya Web hizmetine dahil edilmesi durumunda ortaya çıkar. Bu açığa çıkarabilir güvenlik açıklarına karşı arka uç sistemlerSiteler arası komut dosyası çalıştırma (XSS), siteler arası istek sahteciliği (CSRF), sunucu tarafı istek sahteciliği (SSRF), ayrıcalık yükseltme ve uzaktan kod yürütme (RCE) gibi.
-
Eğitim verilerinin zehirlenmesi Bir LLM'yi eğitmek için kullanılan veriler kasıtlı olarak manipüle edildiğinde veya kötü niyetli veya önyargılı bilgilerle kirlendiğinde ortaya çıkar. Eğitim verilerinin zehirlenmesi süreci tipik olarak eğitim veri kümesine aldatıcı, yanıltıcı veya zararlı veri noktalarının eklenmesini içerir. Bu manipüle edilmiş veri örnekleri, modelin öğrenme algoritmalarındaki güvenlik açıklarından yararlanmak veya modelin tahminlerinde ve yanıtlarında istenmeyen sonuçlara yol açabilecek önyargıları aşılamak için stratejik olarak seçilir.
LLM Başvurularının Korunması ve Kontrolüne İlişkin Bir Taslak
Bunların bir kısmı böyleyken yeni bölgemaruziyeti sınırlamak için uygulayabileceğiniz en iyi uygulamalar vardır.
-
Giriş temizleme isim önerisi gibi şunları içerir: Yetkisiz eylemleri ve kötü niyetli istemler tarafından başlatılan veri isteklerini önlemek için girişlerin temizlenmesi. İlk adım, girdinin beklenen formatlara ve veri türlerine uyduğundan emin olmak için girdi doğrulamadır. Bir sonraki adım, potansiyel olarak zararlı karakterlerin veya kodun kaldırıldığı veya saldırıları engellemek için kodlandığı giriş temizlemedir. Diğer taktikler arasında onaylanmış içeriklerin beyaz listeleri, yasak içeriklerin kara listeleri, veritabanı etkileşimleri için parametreli sorgular, içerik güvenliği politikaları, düzenli ifadeler, günlük kaydı ve sürekli izlemenin yanı sıra güvenlik güncellemeleri ve testleri yer alır.
-
Çıktı incelemesi dır-dir XSS, CSRF ve RCE gibi güvenlik açıklarını azaltmak için LLM tarafından oluşturulan çıktının titizlikle ele alınması ve değerlendirilmesi. Süreç, LLM'nin yanıtlarının sunum veya ileri işlemler için kabul edilmeden önce doğrulanması ve filtrelenmesiyle başlar. Tamamı oluşturulan içerikteki potansiyel güvenlik risklerini tanımlamayı ve etkisiz hale getirmeyi amaçlayan içerik doğrulama, çıktı kodlama ve çıktıdan kaçış gibi teknikleri içerir.
-
Eğitim verilerini koruma eğitim verilerinin zehirlenmesini önlemek için gereklidir. Bu, sıkı erişim kontrollerinin uygulanmasını, veri koruması için şifrelemenin kullanılmasını, veri yedeklemelerinin ve sürüm kontrolünün sürdürülmesini, veri doğrulama ve anonimleştirmenin uygulanmasını, kapsamlı günlük kaydı ve izlemenin oluşturulmasını, düzenli denetimlerin yürütülmesini ve çalışanlara veri güvenliği konusunda eğitim verilmesini içerir. Veri kaynaklarının güvenilirliğinin doğrulanması ve güvenli depolama ve iletim uygulamalarının sağlanması da önemlidir.
-
Sıkı korumalı alan politikalarının ve erişim kontrollerinin uygulanması LLM operasyonlarında SSRF açıklarından yararlanma riskinin azaltılmasına da yardımcı olabilir. Burada uygulanabilecek teknikler arasında sanal alan izolasyonu, erişim kontrolleri, beyaz listeye alma ve/veya kara listeye alma, istek doğrulama, ağ bölümlendirme, içerik türü doğrulama ve içerik inceleme yer alır. Düzenli güncellemeler, kapsamlı günlük kaydı ve çalışanların eğitimi de önemlidir.
-
Sürekli izleme ve içerik filtreleme Anahtar kelimeye dayalı filtreleme, bağlamsal analiz, makine öğrenimi modelleri ve özelleştirilebilir filtreler kullanılarak zararlı veya uygunsuz içeriği tespit etmek ve önlemek için LLM'nin işleme hattına entegre edilebilir. Etik kurallar ve insan denetimi, sorumlu içerik üretiminin sürdürülmesinde kilit rol oynar; sürekli gerçek zamanlı izleme, kullanıcı geri bildirim döngüleri ve şeffaflık, istenen davranıştan herhangi bir sapmanın derhal ele alınmasını sağlar.