YORUM
OWASP yakın zamanda yayınladı Büyük dil modeli (LLM) uygulamaları için en iyi 10 liste, LLM’leri dağıtırken ve yönetirken farkında olunması gereken potansiyel güvenlik tehditleri konusunda sektörü eğitmek amacıyla. Geliştiricilerin, tasarımcıların, mimarların ve yöneticilerin artık açıkça odaklanacak 10 alanı olduğundan, bu sürüm güvenlik topluluğu için doğru yönde atılmış dikkate değer bir adımdır.
Benzer Ulusal Standartlar ve Teknoloji Enstitüsü (NIST) çerçevesi Ve Siber Güvenlik ve Altyapı Güvenliği Ajansı (CISA) yönergeleri Güvenlik sektörü için sağlanan OWSAP listesi, kuruluşlar arasında daha iyi uyum sağlanması için bir fırsat yaratıyor. Bu bilgiyle, baş bilgi güvenliği görevlileri (CISO’lar) ve güvenlik liderleri, hızla gelişen LLM teknolojilerinin kullanımı konusunda en iyi güvenlik önlemlerinin alındığından emin olabilirler. LLM’ler sadece koddur. Kötüye kullanımı ve gizliliğin ihlal edilmesini önlemek için kodun kimliğini doğrulama ve yetkilendirme hakkında öğrendiklerimizi uygulamamız gerekir. Bu nedenle kimlik, her modelin ve eylemlerinin kimliğini doğrulama ve yetkilendirme ve kötüye kullanım, uzlaşma veya hatalar meydana geldiğinde bunu durdurma yeteneği olan yapay zeka için acil anahtarı sağlar.
Rakipler Organizasyonlardaki Boşluklardan Yararlanıyor
Güvenlik uygulayıcıları olarak biz uzun zamandır konuşuldu veri zehirlenmesi, tedarik zinciri zayıflıkları, aşırı temsiliyet ve hırsızlık ve daha fazlası gibi rakiplerin yaptıkları. LLM’ler için bu OWASP 10, endüstrinin risklerin nerede olduğunu tanıdığının kanıtıdır. Kuruluşlarımızı korumak için hızla doğru yolu bulmalı ve proaktif olmalıyız.
Üretken yapay zeka (GenAI), kökleri teknolojiye dayanan yeni bir yazılım riskleri dalgasına ışık tutuyor. aynı yetenekler bu onu her şeyden önce güçlü kılıyordu. Bir kullanıcı LLM’ye her soru sorduğunda, yapay zeka tarafından oluşturulan bir yanıt veya çıktı sağlamak amacıyla sayısız Web konumunu tarar. Her yeni teknoloji yeni riskler getirse de LLM’ler özellikle endişe vericidir çünkü alışık olduğumuz araçlardan çok farklıdırlar.
İlk 10 LLM tehdidinin neredeyse tamamı, modellerde kullanılan kimliklerin kimlik doğrulamasından ödün verilmesine odaklanıyor. Farklı saldırı yöntemleri, yalnızca model girdilerinin kimliklerini değil, aynı zamanda modellerin kimliklerini, çıktılarını ve eylemlerini de etkileyerek geniş bir yelpazeyi yönetir. Bunun zincirleme bir etkisi vardır ve güvenlik açığını kaynağında durdurmak için kod imzalama ve oluşturma süreçlerinde kimlik doğrulama gerektirir.
Zehirlenmeyi ve Kötüye Kullanımı Önlemeye Yönelik Eğitim ve Modellerin Doğrulanması
Her zamankinden daha fazla makinenin birbiriyle konuşması nedeniyle, kimliklerin bir makineden diğerine bilgi ve veri göndermek için nasıl kullanılacağına ilişkin eğitim ve kimlik doğrulamanın yapılması gerekiyor. Modelin, bu kimlik doğrulamasını diğer makinelere yansıtabilmesi için kodun kimliğini doğrulaması gerekir. İlk girdide veya modelde bir sorun varsa (çünkü modeller hassastır ve yakından takip edilmesi gereken bir şeydir) bir domino etkisi olacaktır. Modeller ve girdileri doğrulanmalıdır. Değilse, güvenlik ekibi üyeleri bunun eğittikleri doğru model olup olmadığını veya onayladıkları eklentileri kullanıp kullanmadığını sorgulayacaklardır. Modeller API’leri ve diğer modellerin kimlik doğrulamasını kullanabildiğinde, yetkilendirmenin iyi tanımlanması ve yönetilmesi gerekir. Her modelin benzersiz bir kimlikle doğrulanması gerekir.
Son zamanlarda bu oyunun oynandığını gördük AT&T’nin dökümüBu durum “yazılım yapılandırma hatası” olarak adlandırıldı ve binlerce kişinin sabah işe giderken cep telefonu hizmetinden mahrum kalmasına neden oldu. Aynı hafta Google, çok farklı ama aynı derecede endişe verici bir hatayla karşılaştı. Google’ın Gemini resim oluşturucusu yanlış tanıtıldı tarihi görsellerYapay zeka nedeniyle çeşitlilik ve önyargı endişelerine neden oluyor. Her iki durumda da sorunun kökü, GenAI modellerini ve LLM’leri eğitmek için kullanılan veriler ve bunların etrafındaki korkulukların eksikliğiydi. Gelecekte bu gibi sorunları önlemek için yapay zeka firmalarının modelleri yeterince eğitmek ve verileri daha iyi bilgilendirmek için daha fazla zaman ve para harcaması gerekiyor.
Kurşun geçirmez ve güvenli bir sistem tasarlamak için CISO’lar ve güvenlik liderleri, modelin diğer modellerle çalışabileceği bir sistem tasarlamalıdır. Bu şekilde, bir rakibin bir modeli çalması tüm sistemi çökertmez ve bir acil durum anahtarı yaklaşımına izin verir. Bir modeli kapatabilir ve çalışmaya devam edebilir ve şirketin fikri mülkiyetini koruyabilirsiniz. Bu, güvenlik ekiplerini çok daha güçlü bir şekilde konumlandırır ve daha fazla zararın önlenmesini sağlar.
Listeden Alınan Derslere Göre Harekete Geçmek
Güvenlik liderleri için OWASP’ın rehberliğine başvurmanızı ve CISO’nuza veya C düzeyindeki yöneticilerinize kuruluşun genel olarak bu güvenlik açıklarına göre nasıl puan aldığını sormanızı öneririm. Bu çerçeve, hepimizi pazar düzeyinde güvenlik öngörüleri ve çözümleri sunma konusunda daha sorumlu kılıyor. Risk hazırlığı konusunda ne durumda olduğumuzu göstermek için CEO’muza ve yönetim kuruluna gösterecek bir şeyin olması cesaret verici.
Az önce yaptığımız gibi yüksek lisans ve yapay zeka müşteri hizmetleri araçlarında risklerin ortaya çıktığını görmeye devam ediyoruz. Air Canada’nın sohbet robotu bir gezgine geri ödeme yapıyorŞirketler hatalardan sorumlu tutulacak. Doğru şekilde eğitildiklerinden ve kârı etkileyebilecek iş anlaşmalarını halletmeye hazır olduklarından emin olmak için LLM’leri düzenlemeye başlamanın zamanı geldi.
Sonuç olarak bu liste, artan Web güvenlik açıkları ve Yüksek Lisans kullanırken dikkat etmemiz gereken riskler için harika bir çerçeve görevi görüyor. İlk 10 riskin yarısından fazlası esasen hafifletilmiş ve yapay zeka için acil anahtarı gerektiren riskler olsa da, şirketlerin yeni LLM’leri dağıtırken seçeneklerini değerlendirmesi gerekecek. Girdilerin ve modellerin yanı sıra modellerin eylemlerini de doğrulamak için doğru araçlar mevcutsa, şirketler yapay zeka acil durum anahtarı fikrinden yararlanmak ve daha fazla yıkımı önlemek için daha donanımlı olacak. Bu göz korkutucu görünse de, ağınıza AI ve LLM’lerin sızmasına karşı kuruluşunuzu korumanın yolları vardır.