Bir AI ajanının özerk bir şekilde “düşünmesi” ve harekete geçmesi için ajans verilmelidir; Yani, diğer sistemlerle entegre olmasına, verileri okumasına ve analiz etmesine ve komutları yürütme izinlerine sahip olmasına izin verilmelidir. Bununla birlikte, bu sistemler bilgi sistemlerine derin erişim kazandıkça, aşırı ajansları hakkında artan bir endişe kaynağıdır – bu araçları çok fazla güç, erişim ve bilgi ile emanet etme güvenlik riski.
Bir LLM’ye hassas istemci verilerini (adlar, iletişim bilgileri, satın alma geçmişi vb.) Depolayan bir CRM veritabanına erişim verildiğini söyleyin. Ya kullanıcıların yalnızca kendi müşteri kayıtlarına erişmekle kalmayıp, aynı zamanda diğer kullanıcıların girişlerine erişmelerine ve silmelerine izin verirse? Bu nedenle, aşırı ajans, LLM’nin yetkisiz komutlar yürüttüğü, istenmeyen bilgi açıklamaları yaptığı ve tanımlanmış kapsamı, yönergeleri ve parametrelerinin ötesinde diğer sistemlerle etkileşime girdiği senaryoları ifade eder.
LLMS’de aşırı ajansın temel nedenleri
Aşırı ajans, bir LLM verildiğinde meydana gelen bir güvenlik açığı türüdür.
Aşırı işlevsellik: Bir LLM aracısı, orijinal veya amaçlanan kapsamının ötesinde işlevlere, API’lere veya eklentilere erişebilir. Örneğin, akıllı bir ev sistemine entegre edilmiş bir LLM, sadece ışıkları açık veya kapatmakla kalmaz, aynı zamanda alarm sistemlerini, güvenlik kameralarını, kapıları kilit veya kilidini de devre dışı bırakabilir.
Aşırı izinler: Bir LLM ajanının gerekenden daha fazla izinlere erişimi vardır. Örneğin, e -postaları okuyabilen, yazabilen veya silebilen bir e -posta asistanı, kullanıcının sürücüsündeki anlık mesajlara ve hassas dosyalara (elektronik tablolar, şirket kayıtları) erişebilir.
Aşırı özerklik: Amaçına ulaşmak için operasyonel ve etik korkuluklarının öngörülemez veya ötesinde hareket eden bir LLM ajanı. Örneğin, sosyal medyayı yöneten bir LLM aracısı, bir kullanıcının sorusunu yanlış yorumlar ve hassas bilgileri paylaşır veya veri sızıntısına veya itibar hasarına yol açan uygunsuz bir yanıt verir.
Aşırı ajansın en iyi riskleri
LLM ajanlarına aşırı ajans verildiğinde, güvenliğin temel ilkelerini tehlikeye atabilirler:
Gizlilik: Bir LLM, bir veritabanından gizli bilgileri alır ve yetkisiz bir kullanıcıya maruz bırakır.
Bütünlük: Aşırı özerkliğe veya işlevselliğe sahip bir LLM, belirsiz, manipüle edilmiş veya düşman girdileri nedeniyle yetkisiz bir eylem gerçekleştirir.
Kullanılabilirlik: Aşırı ajanslı bir LLM, saldırganlar tarafından tehlikeye atılır veya kullanılır, ağları devre dışı bırakır ve sunucular aşırı yüklenir, önemli kesintiye ve kesintiye neden olur.
Tehdit Oyuncular LLMS’de Aşırı Ajansı Nasıl Sömürüyor ve Kötüye Kullanıyor?
Tehdit aktörleri, LLM’lerde aşırı ajansı kullanmak için farklı teknikler kullanır:
- Doğrudan hızlı enjeksiyon: Saldırganlar kötü niyetli talimatlar verir ve LLM’leri zararlı komutlar yürütme veya hassas verileri ifşa etme
- Dolaylı hızlı enjeksiyon: Saldırganlar, LLM’nin erişebileceği bir web sitesi veya belge gibi zararlı talimatları harici bir kaynağa yerleştirir.
- Ayrıcalık artışı: Bir LLM, saldırgan tarafından daha üst düzey bir erişim sağlamak için kandırılır
- Model manipülasyonu: Saldırganlar LLM modelini zehirleyin veya kötü niyetli davranışları tetikleyerek önyargıları veya güvenlik açıklarını enjekte edin
- Veri Defiltrasyonu: Saldırganlar zanaat, LLM’leri hassas verileri ortaya çıkarmaya yönlendiren ister.
Kuruluşlar aşırı ajansı nasıl azaltabilir?
Aşağıda belirtilen güvenlik stratejilerini uygulayarak kuruluşlar, tehdit aktörleri tarafından aşırı ajans saldırıları, istismar veya sömürü olasılığını azaltabilir:
- Etik korkulukları dahil edin: AI eylemlerinin organizasyon politikalarıyla uyumlu olduğundan emin olmak için bir AI davranış kuralları oluşturun.
- LIT LLM Ajansı: LLM’lerin neler yapabileceği ve yapamayacağı konusunda katı sınırlar uygulayın. Her türlü ajansın çok dikkatli olması gerekir.
- Girişleri doğrulayın ve sterilize edin: Filtreler, blok listeleri ve önceden tanımlanmış kuralları kullanarak tüm girişleri inceleyin ve sterilize edin.
- Döngüde insanı birleştirin: Yüksek riskli eylemler için bir insan incelemesi veya onay gerektirir.
- Granüler erişim kontrolleri: Modelin açıkça yetkilendirilmediği sürece diğer sistemlerle etkileşime girmesini kısıtlayın.
- LLM davranışını sürekli olarak izleyin: Şüpheli aktiviteler veya anomaliler algılandığında LLM davranışını izlemek ve tetikleme uyarılarını izlemek için izleme araçlarını kullanın.
- Arabuluculuk uygulamak: Bir eyleme izin verilip verilmediğine karar vermek için LLM aracılarına bağlı olmak yerine, aşağı akış sistemlerinde yetkilendirme kontrollerini (tüm istekler güvenlik politikalarına karşı doğrulanır) uygulayın.
- Oran sınırlama uygulamak: Bir LLM’nin öngörülen bir zaman dilimi içinde yapabileceği eylem sayısına bir sınır uygulayın.
- LLM güvenliğini doğrulayın: Penetrasyon testleri ve kırmızı takımlama egzersizlerini proaktif olarak boşlukları ve güvenlik açıklarını tanımlamak ve mevcut LLM güvenlik standartlarının performansını doğrulamak için çalıştırın.
Otonom LLM’lerde aşırı ajans, kuruluşlar için önemli riskler oluşturmaktadır. İşletmelerin güvenlik yaklaşımlarını bu yeni nesil AI sistemleri tarafından sunulan birçok riski azaltmak için uyarlamaları esastır.