LlamafireWall, katmanlı, uyarlanabilir savunmayı desteklemek için modüler bir tasarımla oluşturulan LLM ile çalışan uygulamalar için sistem düzeyinde bir güvenlik çerçevesidir. Jailbreaking ve dolaylı istemi enjeksiyon, hedef kaçırma ve güvensiz kod çıktıları dahil olmak üzere geniş bir AI ajan güvenlik riskleri yelpazesini azaltmak için tasarlanmıştır.
Meta neden Llamafirewall yarattı
LLM’ler, basit chatbot kullanım durumlarının çok ötesine geçiyor ve yüksek güven, otonom sistemlerin temel bileşenleri haline geliyor. Bu artan sofistike ile güvenlik riskinde karşılık gelen bir artış geliyor. Meta güvenlik mühendisi Sahana Chennabasappa, “LLM’ler otonom ajanlar olarak işlev görebilecekleri noktaya geldiler, ancak mevcut güvenlik önlemleri bu düzeyde bu düzeyde tasarlanmadı” dedi. Bu bağlantıyı kesme, kuruluşların bu sistemleri nasıl güvence altına aldığı konusunda tehlikeli kör noktalar yaratmaktır.
Özellikle alanla ilgili olanlardan biri, kodlama uygulamalarında LLM’lerin kullanılmasıdır. Chennabasappa, “LLM tarafından üretilen koda dayanan kodlama aracıları, yanlışlıkla üretim sistemlerine güvenlik açıkları getirebilir” diye uyardı. “Yanlış hizalanmış çok aşamalı akıl yürütme, ajanların kullanıcının orijinal niyetinin çok ötesinde sapma işlemlerini gerçekleştirmesine neden olabilir.” Bu tür riskler, kodlama kopyalarında ve otonom araştırma ajanlarında halihazırda ortaya çıkıyor, ekledi ve sadece aracı sistemler daha yaygın hale geldikçe büyümesi muhtemeldir.
Yine de LLM’ler kritik iş akışlarına daha derin yerleşikken, çevredeki güvenlik altyapısı ayak uydurmadı. Chennabasappa, “LLM tabanlı sistemler için güvenlik altyapısı hala bebeklik döneminde” dedi. “Şimdiye kadar, endüstrinin odak noktası çoğunlukla chatbotların yanlış bilgilendirme veya küfürlü içerik üretmesini önlemeyi amaçlayan içerik ılımlı korkuluklarla sınırlıydı.”
Bu yaklaşımın çok dar olduğunu savundu. Hızlı enjeksiyon, güvensiz kod üretimi ve kod tercüman yeteneklerinin kötüye kullanılması gibi daha derin, daha sistemik tehditlere bakmaktadır. Chennabasappa’ya göre, giderek artan karmaşık AI uygulamalarını güvence altına almak için gereken şeffaflık, denetlenebilirlik ve esneklikten yoksun oldukları için, model çıkarım API’lerine dayanan tescilli güvenlik sistemleri bile kısalır.
Buna karşılık, Chennabasappa ve ekibi, özellikle LLM tabanlı ajanlar için tasarlanmış yeni bir sistem düzeyinde güvenlik mimarisi olan LlamafireWall’u geliştirdiler. “Llamafirewall, geleneksel chatbot merkezli önlemlerin ele alınmadığı yönünde ortaya çıkan tehditleri ele almak için kasa ile birlikte savunmaları düzenliyor” diye açıkladı.
LlamafireWall’u benzersiz kılan şey
LlamafireWall, katmanlı, uyarlanabilir savunmayı desteklemek için modüler bir tasarımla oluşturulan LLM ile çalışan uygulamalar için sistem düzeyinde bir güvenlik çerçevesidir. Jailbreaking ve dolaylı istemi enjeksiyon, hedef kaçırma ve güvensiz kod çıktıları dahil olmak üzere geniş bir AI ajan güvenlik riskleri yelpazesini azaltmak için tasarlanmıştır.
Chennabasappa, LlamafireWall’un iki kategoriye giren LLM ajan iş akışlarının ihtiyaçlarına göre tasarlanmış üç korkuluk içerdiğini açıklıyor: hızlı enjeksiyon/ajan yanlış hizalama ve güvensiz/tehlikeli kod. Üç korkuluk şunları içerir:
1. Hızlı Guard 2yüksek doğruluk ve düşük gecikme ile doğrudan jailbreak denemelerini algılayan ve kullanıcı tarafından yönlendirilen ve güvenilmeyen veri kaynaklarında gerçek zamanlı olarak çalışan evrensel bir jailbreak dedektörü.
2. Ajan hizalama kontrolleriAIC’nin planlarını hızlı bir şekilde denetleyen bir düşünce zinciri denetçisi (Bu, bir AI ajanının planlarının bir rakiplik girdisi tarafından ele geçirilmemesini sağlamak için enjeksiyon savunması için gerçek zamanlı olarak düşünülen bir LLM düşünce zincirini denetleyen ilk açık kaynak korkusudur.)
3. Kodpotansiyel güvenlik açıklarına karşı koruyarak LLM’lerden güvensiz kod çıkışlarını algılayan düşük gecikmeli çevrimiçi statik analiz motoru. Daha önce Lama 3 lansmanının bir parçası olarak Codeshield’ı yayınladık ve şimdi bu birleşik çerçeveye dahil ettik. Tüm bu dahili tarayıcıların yanı sıra, LlamafireWall ayrıca özel uygulama tehdit modeline ve kullanım durumuna göre yapılandırılabilen özelleştirilebilir Regex ve LLM tabanlı kontroller sağlar.
“LlamaFirewall incorporates these guardrails into a unified policy engine. With LlamaFirewall, developers can construct custom pipelines, define conditional remediation strategies, and plug in new detectors. Like Snort, Zeek, or Sigma in traditional cybersecurity, LlamaFirewall aims to provide a collaborative security foundation—one where researchers, developers, and operators can share policies, compose defenses, and Yeni tehditlere gerçek zamanlı olarak uyum sağlayın, ”dedi Chennabasappa.
LlamafireWall, esneklik göz önünde bulundurularak tasarlanmıştır ve altta yatan ajan çerçevesinden bağımsız olarak çok çeşitli AI sistemlerinde çalışmasına izin verir. Chennabasappa, “Geliştiricilerin ek güvenlik mekanizmaları dahil etmelerini sağlayan açık veya kapalı herhangi bir AI sistemi ile kullanılabilir” dedi.
Güvenlik odaklı, açık kaynaklı bir çözüm olarak konumlandırılan LlamafireWall, katmanlı bir derinlemesine savunma yaklaşımı benimsiyor. Chennabasappa’ya göre, bu strateji “AI uygulamalarının ve temsilcilerinin güvenli bir şekilde geliştirilmesini sağlamak için Meta’nın büyük ölçekli sistemler ve üretim ortamlarındaki kapsamlı deneyiminden yararlanıyor.”
Görünürlüğü ve özelleştirmeyi sınırlayabilecek tescilli araçlardan farklı olarak, LlamafireWall açıklığı benimser. Chennabasappa, bu şeffaflığın AI güvenlik uygulamalarında daha fazla güven ve uyarlanabilirliği nasıl desteklediğini vurgulayarak, “Açık kaynaklı doğası, topluluk yapımı eklentiler, kurallar ve dedektörler için şeffaf ve genişletilebilir bir platform sunuyor” dedi.
Gelecek Planları ve İndir
LlamafireWall şu anda hızlı enjeksiyon ve güvensiz kod üretimine odaklanırken, geliştiriciler, aracı yaşam döngüsü arasında daha kapsamlı koruma sağlamak için kötü amaçlı kod yürütme ve güvenli olmayan araç kullanımı gibi diğer yüksek riskli davranışları kapsamak için kapsamını genişletme potansiyelini görüyorlar.
Llamafirewall GitHub’da ücretsiz olarak kullanılabilir.
Okumalı:
Temel açık kaynaklı siber güvenlik araçları hakkında bilgi sahibi olmak için Net Security Reklamsız Aylık Haber Bülteni’ne abone olun. BURADA Abone Olun!