Büyük dil modelleri (LLM’ler) birçok kıyaslamada insanüstü performans elde etti; bu da harekete geçebilen, kendi kendini yansıtabilen ve belgeleri okuyabilen LLM temsilcilerine olan ilginin artmasına yol açtı.
Bu ajanlar yazılım mühendisliği ve bilimsel keşif gibi alanlarda potansiyel gösterse de siber güvenlik konusundaki yetenekleri büyük ölçüde keşfedilmemiş durumda.
Siber güvenlik araştırmacıları Richard Fang, Rohan Bindu, Akul Gupta ve Daniel Kang yakın zamanda GPT-4’ün bir günlük güvenlik açıklarının %87’sinden yararlanabildiğini keşfetti; bu önemli bir ilerlemedir.
GPT-4 ve Bir Günlük Güvenlik Açıkları
CVE veri tabanından ve akademik makalelerden, savunmasız web siteleri, konteyner yönetimi yazılımı ve Python paketleri de dahil olmak üzere 15 gerçek dünyadaki bir günlük güvenlik açığının karşılaştırmalı değerlendirmesi toplandı.
Araştırmacılar, topladıkları kıyaslamadaki bir günlük güvenlik açıklarının %87’sinden yararlanabilen tek bir LLM aracısı oluşturdu.
Ücretsiz Web Semineri | WAAP/WAF ROI Analizinde Uzmanlaşma | Yerinizi Ayırın
Yalnızca 91 satırlık kodla aracıya araçlara, CVE açıklamasına ve ReAct aracı çerçevesine erişim verilir.
GPT-4, %0 başarı oranına sahip diğer LLM’lerden ve açık kaynaklı güvenlik açığı tarayıcılarından daha iyi performans göstererek %87’lik bir başarı oranı elde etti.
CVE açıklaması olmadan GPT-4’ün başarı oranı %7’ye düştü; bu da onun yenilerini bulmak yerine bilinen güvenlik açıklarından yararlanma becerisini gösteriyor.
Makale, güvenlik açıklarına ilişkin veri kümesini, aracıyı ve onun değerlendirmesini açıklayarak, LLM’lerin gerçek dünyadaki bir günlük güvenlik açıklarını hackleme yeteneklerini araştırıyor.
Yüksek Lisans temsilcilerinin gerçek dünyadaki bilgisayar sistemlerinden yararlanıp yararlanamayacağını belirlemek için araştırmacılar, CVE’lerden ve akademik makalelerden yola çıkarak 15 gerçek dünyadaki güvenlik açığından oluşan bir kıyaslama geliştirdi.
Kapalı kaynak yazılımlar veya mümkün olmayan güvenlik açıklarına sahip yeterince belirtilmemiş açıklamalar için, ACIDRain güvenlik açığı da dahil olmak üzere on dört güvenlik açığı açık kaynaklı CVE’lerden elde edildi.
Güvenlik açıkları, yarısından fazlasının yüksek veya kritik önem derecesine sahip olduğu web sitelerini, kapsayıcıları ve Python paketlerini kapsıyor.
Daha da önemlisi, gerçekçi bir değerlendirme için oyuncak “bayrağı ele geçirme” tarzı güvenlik açıkları yerine, geçmiş GPT-4 bilgi kesinti tarihinin %73’ünün bu güvenlik açıkları arasında gözlemlenmesidir.
.webp)
Test Edilen Modeller
Aşağıda araştırmacıların test ettiği tüm modellerden bahsettik: –
- GPT-4
- GPT-3.5
- OpenHermes-2.5-Mistral-7B
- Lama-2 Sohbeti (70B)
- LLaMA-2 Sohbeti (13B)
- LLaMA-2 Sohbeti (7B)
- Mixtral-8x7B Talimatı
- Mistral (7B) Talimatı v0.2
- Nous Hermes-2 Yi 34B
- OpenChat 3.5
Güvenlik açıkları
Aşağıda tüm güvenlik açıklarından bahsettik: –
- koşmak
- CSRF + ACE
- WordPress SQLi
- WordPress XSS-1
- WordPress XSS-2
- Seyahat Günlüğü XSS
- İris XSS
- CSRF + ayrıcalık yükseltme
- alf.io anahtar sızıntısı
- Astrotrofi RCE
- Hertzbeat RCE
- Gnuboard XSS
- Symfony 1 RCE
- Eşleme Yöneticisi SSTI RCE
- Asit yağmuru
Analiz, GPT-4’ün yüksek bir başarı oranına sahip olduğunu ortaya koyuyor çünkü karmaşık çok adımlı güvenlik açıklarından yararlanabiliyor, farklı saldırı yöntemleri başlatabiliyor, açıklardan yararlanma için kodlar üretebiliyor ve web dışı güvenlik açıklarını manipüle edebiliyor.
Ancak GPT-4, CVE açıklaması olmadan doğru saldırı vektörünü doğru bir şekilde belirleyemez; bu da bilinen güvenlik açıklarından yararlanmanın yenilerini bulmaktan daha kolay olduğunun altını çizer.
Gayri resmi analiz, planlama ve alt aracılar gibi ek özelliklerle GPT-4’ün kullanımdaki özerkliğinin nasıl büyük ölçüde geliştirildiğini gösteriyor.
Looking to Safeguard Your Company from Advanced Cyber Threats? Deploy TrustNet to Your Radar ASAP.