Bu yardımda net güvenlik röportajında, Motley Fool’daki Uygulama ve Bulut Güvenliği Direktörü Paolo Del Mundo, der organizasyonların hızlı enjeksiyon, güvensiz çıkışlar ve veri sızıntıları gibi genai’ye özgü riskleri azaltmak için korkuluklar uygulayarak AI kullanımlarını nasıl ölçeklendirebileceğini tartışıyor.
Genai’nin çoğalması nedeniyle kuruluşların, özellikle girdi/çıktı işleme ve ince ayar uygulamaları etrafında riski yönetmek için korkuluklar uygulamaları gerektiğini açıklıyor. Bu kontrollerin erken kurulması, yenilikten ödün vermeden güvenli ve uyumlu benimsenmesini sağlar.
Zaten Genai Özellikleri başlatmış olan takımlar için, denetlemeleri veya kontrol etmesi gereken ilk şey nedir?
GENAI, saldırı yüzeyinizi geleneksel tehdit modelleri genellikle göz ardı şekilde genişletir. Mekana yeni güvenlik uygulayıcıları, bu yeni güvenlik açıkları sınıfını ve bunlara karşı nasıl savunulacağını öğrenerek başlamalıdır. İyi bir başlangıç noktası, hızlı enjeksiyon, veri sızıntısı ve güvensiz eklenti tasarımı gibi yaygın güvenlik açıklarını özetleyen LLM’ler için OWASP Top 10’dur.
Bu AI sorunları APPSEC liderleri arasında alarm veriyor. Aslında, bu grubun yakın tarihli bir Armorcode araştırması, AI araçlarıyla ilgili sorunlar yaşayanların,% 92’sinin güvensiz koddan bahsettiğini ve% 83’ünün en büyük endişeleri olarak şeffaflık eksikliğine işaret ettiğini buldu. Aynı zamanda, tüm katılımcıların% 55’i genel olarak genai temelli tehditlerin en büyük endişe olduğunu söyledi.
Şirketinizin Genai’yi sorumlu bir şekilde kullanmasını sağlamak söz konusu olduğunda, LLM kullanımını envanteri ile başlayın. Barındırılan modelleri mi arıyorsunuz, kendinize ince ayar yapmak mı yoksa bir bez boru hattı mı çalıştırıyorsunuz? Kullanıcılarınız kimler? İç mi yoksa dış mı? Hassas verileri ortaya çıkarıyor musunuz ve yerinde ince taneli yetkiniz var mı?
LLM kullanımınızı yeni hizmetler gibi davranın: Girişler, Çıkışlar, Erişim Denetimleri ve Arıza Modları. Harita görünürlüğü ve veri akışına yardımcı olabilecek araçlara yatırım yapın. Daha karmaşık savunmalara katkıda bulunmadan önce bunu yapın.
LLM’leri kurumsal uygulamalara entegre ederken girdi/çıkış dezenfektanizasyonu uygulamak için en iyi uygulamalar nelerdir?
Geleneksel web uygulamaları kötü niyetli trafiği tanımlamak için WAF’leri kullanırsa, Genai uygulamaları da benzer bir konsepte sahiptir. Bu korkuluklar hem girişleri hem de çıkışları incelemektedir.
Giriş tarafında, bu sistemler, Genai modeline ulaşmadan önce hızlı enjeksiyon girişimlerini, politika ihlallerini ve konu dışı veya yetkisiz sorguları algılar.
Çıktı tarafında, modelin PII, dahili belgeler veya botun kapsamı dışındaki konular dahil olmak üzere açığa çıkmaması gereken şeyleri filtreler. Örneğin, LLM’niz işe alım konusunda yardımcı olacaksa, maaş grupları veya iç finansallar hakkında soruları cevaplamamalıdır.
Bu korkuluklar politika sınırlarını son bir savunma hattı olarak gerçek zamanlı olarak uygular. Erişim kontrolünün yerini almazlar, ancak sömürü olasılığını büyük ölçüde azaltırlar.
Bir şirket kendi LLM’sine ince ayar yapar veya ev sahipliği yaparsa, hangi APPSEC düşünceleri daha kritik hale gelir?
İnce ayar, daha küçük, özel bir veri kümesi üzerindeki eğitimini sürdürerek önceden eğitilmiş bir dil modelini belirli bir göreve veya alana uyarlama işlemidir. Bu, kod, dahili belgeler, hatta tekrarlanmasını istemediğiniz hassas müşteri verileri gibi fikri mülkiyeti ortaya çıkarabilir. Güvenlikler olmadan, bir kullanıcı bu bilgileri doğru ifadeyle çıkarabilir.
Aynı APPSEC liderleri araştırması, katılımcıların% 37’sinin yazılım geliştirme için Genai gözetiminden yoksun olduğuna inandığına inandığını buldu.
Sonuç olarak, birkaç APPSEC düşüncesi daha önemli hale geldi:
- Veri Sanitizasyonu Eğitim: Fine ayarlamadan önce veri kümelerinin sırlar, kimlik bilgileri, PII ve tescilli bilgilerden temizlendiğinden emin olun.
- Model Çıktı Testi: Emberleştirilmiş içeriği çıkarmak için tasarlanmış kırmızı ekip istemlerini kullanarak modeli veri sızıntısı için aktif olarak test edin.
- Erişim kontrolleri ve denetim günlüğü: Modele kimin erişebileceğini ve olay yanıtı ve anomali tespiti için tüm kullanımı kaydedebileceğini sınırlayın.
- Model dağıtım hijyeni: Servis altyapısının (örneğin, API’lerin) ortak web tehditlerine (örneğin, enjeksiyon, hız sınırlama bypass) karşı korunduğundan emin olun.
- Güvenli Model Barındırma: Temel model dosyalarını ve ağırlıklarını kurcalama veya pesfiltrasyondan koruyun.
- Veri Provenance İzleme: Uyumluluk ve ihlal Etki analizi için hangi verilerin modele girdiğine dair kayıtları koruyun.
Güvenlik ekipleri LLMS’ye yüksek değerli varlıklar olarak davranmalıdır.
Kırmızı ekranlı genai özellikleri için önerdiğiniz belirli araçlar veya çerçeveler var mı?
Evet. Genai’yi üretime dağıtıyorsanız, kırmızı takımın SDLC’nizin bir parçası olması gerekir.
Lakera Red ve Straiker Ascend AI gibi platformlar, LLM ile çalışan uygulamalarda güvenlik açıklarının keşfini otomatikleştiriyor. Ayrıca hızlı enjeksiyon, jailbreaks ve ajan gibi saldırıları simüle ederler. Onları sürekli çalışan ve geliştirme yaşam döngünüzle ölçeklendiren genai’ye özgü pentesterler olarak düşünün.
Anahtar, bunları tek seferlik güvenlik kontrolleri olarak ele almadan, serbest bırakma işleminize entegre etmektir. Armorcode gibi ASPM platformları, bir kuruluş için triyasyona yardımcı olmak ve en önemli uygulama güvenliği risklerini düzeltmek için kalem testi bulgularını ve yapay zekayı entegre eder.
Teknik olarak kırmızı takım oluşturma araçları olmasa da, Genai sömürüsünün zanaatını anlamak hakkında söylenecek bir şey var. Lakera’nın Gandalf gibi oyunlar kişisel veya kolektif bir ekibin eğitimi için de yararlıdır. Farkındalığı artırırlar ve geliştiricilerin LLM’lerin ne kadar kolay manipüle edilebileceğini ilk elden deneyimlemelerine yardımcı olurlar. Eğitim her zaman savunmanın bir parçasıdır.
Yapay zeka odaklı özellikleri üretime yerleştirirken hangi CI/CD boru hattı kontrolleri gereklidir?
Bilgi, sistem mesajları ve geri alma mantığı gibi model davranışını etkileyen her şeyi kod olarak ele alın. Sürüm, gözden geçirin ve normal değişiklik yönetimi sürecinizin arkasına geçin.
Yalnızca işlevi değil, davranışı doğrulayan otomatik testler ekleyin. Bir güncelleme, modelin hassas bilgileri halüsinasyonuna veya politikayı ihlal etmesine neden oluyorsa, konuşlandırmadan sonra değil, bunu sahnelemede yakalamak istersiniz.
PII veya riskli içerik için ince ayar girişlerini tarayın. Model eserleri dağıtılmadan önce doğrulayın ve üretim çıkarım ayarlarını veya hızlı şablonları kimin değiştirebileceğini kısıtlayın.
Chatbot’unuzun davranışını değiştirmek bir arka uç hizmeti dağıtmaktan daha kolay olmamalıdır. LLM’leri aynı standarda tutun.