Yüksek Lisanslar kurumsal ürünlere ve iş akışlarına doğru daha da derinleşiyor ve bu değişim, güvenlik liderleri üzerinde yeni bir baskı yaratıyor. DryRun Security’nin yeni kılavuzu, bu sistemlerin veri işleme, uygulama davranışı ve dahili sınırlar hakkında uzun süredir devam eden varsayımları nasıl değiştirdiğini özetlemektedir. Şirketin tam risk modelinin yapısı ve Yüksek Lisans ile ekip oluşturan ekipler için bir referans mimarisi olarak kullandığı LLM Uygulamaları için OWASP İlk 10 etrafında inşa edilmiştir.
DryRun Security’nin CEO’su James Wickett, Help Net Security’ye en büyük engellerden birinin teknik olmadığını söyledi. Ekiplerin genellikle denemelerden üretime kadar alışkanlıklar taşıdığını söyledi. Onun sözleriyle, en zor kısım, modelin beyin olduğu fikrini unutup bunun yerine ona güvenilmeyen bilgi işlem olarak muamele etmektir. Bu değişimin, mühendisliği bir güven sınırı modeliyle uyumlu hale getirmeye çalışan her kuruluş için gerekli olduğunu söyledi.
LLM Başvuru kapsamı örneği ve OWASP LLM İlk On Riskinin nerede ortaya çıkabileceği. Kırmızı daireler Yüksek Lisans İlk On riskini gösterir. (Kaynak: DryRun Güvenliği)
Yeni tür girdi ve çıktı riskleri
Hızlı enjeksiyon tartışmalara hakim olmaya devam ediyor çünkü modeller, kullanıcı girdisinden veya alınan içerikten gelen talimatları özümsüyor. Hassas bilgilerin açıklanması ise hemen arkasından geliyor. Sorun, kontrollerin eksik olması durumunda istemlerin, alınan belgelerin, çıktıların, günlüklerin ve model sağlayıcıların hepsinin kişisel veya dahili bilgileri sızdırabilmesidir. Araştırma, hem girdilerin hem de çıktıların doğrulanana kadar güvenilmez olarak ele alınması gerektiğini vurguluyor.
Wickett, bu zihniyetin genellikle kültürel alışkanlıklar tarafından yavaşlatıldığını söyledi. Bazı ekipler, koddaki şemaları ve politikaları uygulamak yerine yalnızca istemlerle veya ince ayarlarla davranışı düzeltmeye çalışır. Diğerleri ise bir politika katmanı veya araç proxy’si olmadan erken prototipleri üretime aktarıyor. Platform, veri, güvenlik ve ürün grupları arasındaki parçalı mülkiyetin güven sınırında boşluklar yarattığını belirtti. Liderlerin, bu boşlukları önlemek için güvenilmeyen model yaklaşımını açık bir tasarım kısıtlamasına dönüştürmeleri gerektiğini söyledi.
Uygun olmayan çıktı işleme aynı kategoride yer alır. Araştırmacılar, model yanıtlarının güvenli olmayan HTML, hatalı biçimlendirilmiş JSON, beklenmeyen URL’ler veya aşağı akış sistemlerinin yürütülebilir olarak kabul ettiği metin içerebileceğini açıklıyor. Bu sorunlar, model çıktısını inceleme, temizleme ve yapı yaptırımı gerektiren yeni bir güvenilmeyen girdi biçimine dönüştürüyor.
Tedarik zinciri ve veri bütünlüğü baskıları
Yüksek Lisans’ların etrafındaki büyüyen yığından çeşitli riskler geliyor. Tedarik zinciri kapsamı artık model formatlarını, model sunucularını, üçüncü taraf merkezlerini, bağlayıcıları ve aracı çerçevelerini içeriyor. Güvenli olmayan serileştirme, uzaktan kod yürütme kusurları ve kötü niyetli bağımlılıkların tümü bu katmandaki endişelerdir.
Veri ve model zehirlenmesi listenin yanında görünür. Araştırma, küçük miktardaki manipüle edilmiş verilerin eğitimi, ince ayarı veya artırılmış üretim sistemlerini geri getirmeyi etkileyebileceğinin kolaylığına işaret ediyor. Az sayıda eklenen belge, alımı bozabilir veya gizli tetikleyiciler oluşturabilir. Sessiz manipülasyonu önlemek için veri hatlarına kaynak, sürüm oluşturma ve karantina yerleştirilmelidir.
Aracılar, istemler ve vektörlerle ilgili operasyonel riskler
Daha fazla ekip, aşırı temsili mimari bir soruna dönüştüren temsili kalıplar üzerinde denemeler yapıyor. Bir model araçları çağırabildiğinde veya iş akışlarını çalıştırabildiğinde, doğrulama veya ayrıcalık tasarımındaki herhangi bir hata, beklenmeyen eylemlere yol açabilir. Rehberlik, katı sınırlara, en az ayrıcalıklara ve araç çağrılarının katı şekilde arabuluculuğuna odaklanmaktadır.
Sistem istemi sızıntısı, ortak geliştirme alışkanlıklarından kaynaklanan başka bir risktir. Gizli talimatlar genellikle saldırganların açığa çıktıktan sonra kullanabileceği dahili mantık içerir. Rapor, sırların, rotaların ve politika ayrıntılarının bilgi istemlerinden kod veya ara yazılımlara taşınması gerektiğini savunuyor.
Daha fazla ekip geri alma sistemlerini benimsedikçe vektör ve yerleştirme zayıflıkları ortaya çıkıyor. Yanlış yapılandırılmış vektör depoları, kiracılar arası maruz kalma ve endeksin zehirlenmesi, alma kalitesine ve güvenliğine zarar verebilir. Araştırma, izolasyon, alım ve erişim sırasında filtreleme ve hassas içerikten türetilen yerleştirmelerin hassas veri olarak ele alınmasını gerektiriyor.
Yanlış bilgi ve kontrolsüz tüketim
Son iki risk daha çok ürün davranışıyla bağlantılıdır. Yanlış bilgi, kullanıcıların gerçekmiş gibi değerlendirdiği yanlış veya desteklenmeyen yanıtları ifade eder. Araştırma bunu bir tasarım problemi olarak çerçeveliyor. Sistemler, iddiaları alınan bağlamda temellendirmeli ve kanıt sağlamalı veya kanıt eksik olduğunda yanıt vermeyi reddetmelidir.
Sınırsız tüketim, kontrolden çıkmış token kullanımını, uzun muhakeme döngülerini ve kontrolsüz yeniden denemeleri kapsar. Bu modeller maliyeti artırır, kullanılabilirliği azaltır ve hız sınırı hatalarına neden olabilir. Önerilen kontroller arasında jeton farkında hız limitleri, kotalar, katı yeniden deneme kuralları ve aracı limitleri yer alır.
Baskı altındaki ekipler için referans mimarisi
DryRun Security, kontrolleri politika katmanlarına, orkestratörlere, araç proxy’lerine, veri depolarına ve gözlemlenebilirliğe yayan bir referans mimarisi sunar. Tasarım, modeli güvenilmeyen bilgi işlem olarak ele alır ve her sınırı bir kontrol noktası olarak ele alır. Araştırma, CISO’lar için her bir OWASP riskini, ona sahip olması gereken katmanlarla eşleştirmek için yapılandırılmış bir yol sunuyor.
Wickett, bir referans mimarisi üzerinde standartlaşan ve güven sınırlarını merkezi bir platform veya AppSec grubu altına koyan kuruluşların bu geçişi çok daha sorunsuz hale getirdiğini söyledi. Bunun her takımda aynı hataların tekrarlanmasını önlediğini söyledi. Mimarinin üretimde çalışanla eşleşmesi için kodda sürekli doğrulamanın gerekli olduğunu ekledi.
Ayrıca tüm mimariyi aynı anda dağıtamayan kuruluşlar için de rehberlik sundu. İlk altı aydaki en önemli kontrollerin LLM’lere dokunan koddaki önleyici kontroller ve her modelin önündeki politika veya korkuluk katmanı olduğunu söyledi. Bu iki katmanı, en ciddi arızaların olasılığını ve etkisini azaltmanın en hızlı yolu olarak tanımladı.
Yapay zeka güvenlik stratejilerine daha derinlemesine dalmaya hazır mısınız? Delinea’nın kapsamlı sürümünü indirin 2025 Kimlik Güvenliği Raporunda Yapay Zeka Kuruluşunuzda yapay zekanın güvenliğini sağlamaya yönelik en yeni bilgileri ve en iyi uygulamaları keşfetmek için.