Kobalt’a göre, Genai tehditleri hem güvenlik ekipleri hem de liderlik için en önemli endişe olsa da, LLM ve AI ile çalışan uygulamalar için mevcut test ve iyileştirme seviyesi risklere ayak uydurmuyor.
Tehdit veya Araç Olarak Genal (Kaynak: Kobalt)
En Pentest Verileri LLM Güvenliğinde Endüstri Bölünmesini Ortaya Çıkarıyor
Rapordaki verileri, rahatsız edici bir gerçeği vurgulamaktadır: LLM uygulamaları genellikle ciddi güvenlik açıklarına sahiptir. Bu yüksek riskli sorunlar, LLM’lerde diğer tüm sistemlerden daha sık görülür, bu da LLM dağıtımlarının özellikle yüksek bir risk taşıdığını gösterir.
Daha da önemlisi, bu ciddi güvenlik açıklarının nadiren sabit olduğu. LLM’ler, test edilen tüm sistemlerde en düşük iyileştirme oranına sahiptir ve birçok kritik risk çözülmez. Bazı sorunlar hızlı bir şekilde ele alınırken, bu muhtemelen daha kolay düzeltmeleri yansıtır, daha karmaşık ve tehlikeli kusurlar birikmeye devam ederek büyüyen bir güvenlik boşluğu oluşturur.
Pentest’lerde ciddi güvenlik açıklarının varlığı, endüstriye göre değişir ve en büyük risklerin nerede olabileceğine dair fikir sunar. Rapora göre, idari hizmetler, ulaşım, misafirperverlik, üretim ve eğitim gibi sektörler daha yüksek kritik güvenlik sorunları göstermektedir. Buna karşılık, eğlence, finansal hizmetler ve bilgi hizmetleri gibi endüstriler daha az ciddi güvenlik açıklarına sahip olma eğilimindedir. Bu farklılıklar her endüstrinin güvenlik olgunluğunu, sistemlerinin karmaşıklığını veya ne kadar kesin olarak düzenlendiklerini yansıtabilir.
Liderler, uygulayıcılar baskı yaparken bir geni duraklaması için itiyor
Güvenlik açığı manzarası ile ilgili, genai ile ilgili riskler hakkında yaygın farkındalığa rağmen devam etmektedir. Çoğu kuruluş, üretken yapay zekayı, hassas veri maruziyeti ve model manipülasyonu dahil olmak üzere ortak endişelerle en iyi BT tehdidi olarak tanır. Ancak, proaktif test ve güvenlik uygulamaları ayak uydurmadı.
Kuruluşların sadece% 66’sı, genai destekli ürünlerini düzenli olarak test ederek önemli bir kısmı korumasız bırakıyor.
Ankete katılanların% 48’i, savunmaları genai odaklı tehditlere karşı yeniden kalibre etmek için “stratejik bir duraklama” gerektiğine inanmaktadır. Ama bu duraklama gelmiyor.
“Tehdit aktörleri beklemiyor ve güvenlik ekipleri de yapamıyor,” dedi Cobalt CTO’dan Gunter Ollmann. “Araştırmamız, Genai’nin nasıl çalıştığımızı yeniden şekillendirirken, risk kurallarını da yeniden yazdığını gösteriyor. Güvenliğin temellerinin paralel olarak gelişmesi gerektiğini veya yarının modası geçmiş korumalarda yenilik yapmayı riske atmamız gerektiğini gösteriyor.”
Güvenlik liderlerinin, Genai dağıtımında bir duraklamayı destekleme ve Genai’yi yararlı bir araçtan ziyade siber güvenlik için bir tehdit olarak görme olasılığı daha yüksektir. Bu, liderlik ve uygulamalı ekipler arasındaki algıda bir bölünmeyi önerir ve test verilerine yansıtılmayan potansiyel aşırı güvenleri vurgular.
Anahtar LLM güvenlik açıklarını anlamak
LLM güvenlik açıkları söz konusu olduğunda, güvenlik ekiplerinin ne hakkında endişe duydukları ve gerçek dünya testlerinde gerçekte neyin bulunduğu arasında bir kopukluk var.
Birçok profesyonel verileri korumaya, hassas bilgi sızıntıları, model manipülasyonu ve eğitim verilerine maruz kalmaya odaklanmıştır. Yapay zeka sistemlerinde veri güvenliği etrafında yüksek riskler göz önüne alındığında anlaşılabilir.
Ancak penetrasyon testleri farklı bir şey ortaya çıkarıyor. En yaygın sorunlar doğrudan veri sızıntıları değildir, hızlı enjeksiyon veya güvensiz çıkışlar gibi zayıflıklardır. Bunlar yüzeyde daha az acil görünebilir, ancak saldırganların bu hassas verilere ulaşmak için kullandıkları yollar olabilir.
Ollmann, “Bulutun benimsenmesi acele gibi, Genai inovasyon ve güvenliğe hazır olma arasında temel bir boşluk ortaya çıkardı” diye ekledi. “Olgun kontroller bir LLM dünyası için inşa edilmedi. Güvenlik ekipleri reaktif denetimlerden programatik, proaktif AI testlerine ve hızlı geçmelidir.”