ChatGPT gibi büyük dil modellerinde (LLMS) önemli bir güvenlik açığı tespit edilmiştir ve çekişmeli saldırılara duyarlılıkları konusunda endişelerini dile getirmiştir.
Araştırmacılar, bu modellerin, zararlı çıktılar üretmek veya hassas bilgileri tehlikeye atmak için metin nesil yeteneklerinden yararlanan hızlı enjeksiyon gibi tekniklerle nasıl manipüle edilebileceğini vurguladılar.
Hızlı enjeksiyon: büyüyen bir siber güvenlik mücadelesi
Hızlı enjeksiyon saldırıları, hazırlanmış istemlerin bir AI modelini istenmeyen veya kötü niyetli tepkiler üretmeye aldığı bir düşmanca girdi manipülasyonu türüdür.
Bu saldırılar, LLM’lere gömülü önlemleri atlayabilir ve bu da saldırgan içerik üretimi, kötü amaçlı yazılım kodu veya hassas verilerin sızıntısı gibi sonuçlara yol açabilir.
Takviye öğrenimi ve korkuluklardaki ilerlemelere rağmen, saldırganlar bu güvenlik açıklarını kullanma stratejilerini sürekli olarak geliştiriyorlar.
Siber güvenlik uzmanları için zorluk, kullanıcı girdilerinin engin hacminin ortasında olumsuz yönlerden iyi huylu istemlerin ayırt edilmesinde yatmaktadır.
İmza tabanlı dedektörler ve makine öğrenimi sınıflandırıcıları gibi mevcut çözümlerin, bu tehditlerin nüanslı ve gelişen doğasını ele almada sınırlamaları vardır.
Dahası, Meta’s Llama Guard ve Nvidia’nın Nemo korkulukları gibi bazı araçlar, hat içi tespit ve yanıt mekanizmaları sunarken, genellikle araştırmacıların saldırıları anlayış ve azaltma konusunda yardımcı olabilecek sınıflandırmaları için ayrıntılı açıklamalar oluşturma yeteneğinden yoksundur.
Vaka Çalışmaları: İşten Sömürü
Son çalışmalar, siber güvenlik ihlallerinde LLM’lerin endişe verici potansiyelini göstermiştir.
Örneğin, chatgpt-4, ayrıntılı CVE açıklamaları sağlandığında bir günlük güvenlik açıklarının% 87’sini kullanabilen bulunmuştur.
Bu güvenlik açıkları, modelin sömürücü kodu özerk bir şekilde oluşturma yeteneğini sergileyen SQL enjeksiyonları ve kötü amaçlı yazılım üretimi gibi karmaşık çok aşamalı saldırıları içeriyordu.
Benzer şekilde, Hugging Face gibi platformlarda barındırılan kötü niyetli AI modelleri, güvenlik önlemlerini atlamak için serileştirme tekniklerinden yararlandı ve sağlam korumalar ihtiyacını daha da vurguladı.
Ayrıca, araştırmacılar, üretken AI araçlarının son derece ikna edici kimlik avı e -postaları veya sahte iletişim üreterek sosyal mühendislik saldırılarını artırabileceğini kaydetti.
Bu AI tarafından üretilen bu mesajlar genellikle gerçek olanlardan ayırt edilemez ve bireyleri ve kuruluşları hedefleyen dolandırıcılıkların başarı oranını artırır.
“Ajan” AI özerk ajanlarının bağımsız karar alma süreçleri-daha da büyük riskler taşır.
Bu ajanlar potansiyel olarak güvenlik açıklarını belirleyebilir, kimlik bilgilerini çalabilir veya insan müdahalesi olmadan fidye yazılımı saldırıları başlatabilir.
Bu tür gelişmeler AI’yi bir araçtan siber saldırılarda aktif bir katılımcıya dönüştürebilir ve tehdit manzarasını önemli ölçüde artırabilir.
Bu zorlukları ele almak için araştırmacılar, LLM’lerin kendilerini araştırma araçları olarak kullanmak gibi yenilikçi yaklaşımları araştırıyorlar.
Siber güvenlik ekipleri, düşmanca istemleri tespit etmek ve açıklayıcı analizler oluşturmak için ince ayar modelleri ile tehditleri daha iyi anlayabilir ve yanıtlayabilir.
ToxicChat gibi veri kümeleri ile yapılan erken deneyler, tespit doğruluğunu iyileştirme ve araştırmacılar için eyleme geçirilebilir içgörüler sağlamada umut vaat etti.
LLM’ler gelişmeye devam ettikçe, bunları güvence altına alma stratejileri de olmalıdır.
Gelişmiş korkulukların açıklama nesil yetenekleriyle entegrasyonu, AI sistemlerine şeffaflığı ve güveni artırabilir.
Ayrıca, çıktı sansürü tespiti ile ilgili araştırmaların genişletilmesi ve açıklama kalitesinin iyileştirilmesi, düşmanca saldırıların sağladığı risklerin azaltılmasında kritik olacaktır.
Bulgular, AI geliştiricileri ve siber güvenlik uzmanları arasında, ortaya çıkan tehditlere dayanabilecek esnek sistemler oluşturmak için acil işbirliğinin gerekliliğinin altını çizmektedir.
Proaktif önlemler olmadan, LLM güvenlik açıklarının sömürülmesi, bireyler, işletmeler ve hükümetler için geniş kapsamlı sonuçlar doğurabilir.
Investigate Real-World Malicious Links & Phishing Attacks With Threat Intelligence Lookup - Try for Free