GPT-4 Aracısı Yama Uygulanmamış Güvenlik Açıklarından Yararlanabilir

Illinois Urbana-Champaign Üniversitesi’ndeki araştırmacılar, CVSS ölçeğinde “kritik” olarak derecelendirilen iki hata da dahil olmak üzere, bir düzineden fazla açıklanan ancak yama yapılmayan – veya “bir günlük” güvenlik açığı hakkında yapay zeka ajanlarına bilgi verdi. OpenAI’nin GPT-4’üyle oluşturdukları aracı, güvenlik açıklarının %87’sinden yararlandı. GPT-3.5, çeşitli açık kaynaklı büyük dil modelleri ve açık kaynaklı güvenlik açığı tarayıcıları ZAP ve Metasploit gibi modellerle oluşturulan diğer on dört aracı tamamen başarısız oldu.

Makaleyi yayınlayan dört bilim adamından biri olan Daniel Kang, GPT-4’ün talimatları takip etme ve CVE açıklamaları gibi muhtemelen belirsiz açıklamalar etrafında planlama yapma konusunda “inanılmaz derecede iyi” olduğunu söyledi. Information Security Media Group’a “Test ettiğimiz diğer Yüksek Lisans’lar bununla mücadele etti: Diğer Yüksek Lisans’ların diğer görevlerde ne kadar mükemmel olduğu göz önüne alındığında bu benim en büyük sürprizimdi” dedi.

Kang, test edilen modellerin en iyi GPT-4 rakipleri Claude 3 ve Gemini 1.5 Pro’yu içermediğini, çünkü ekibin deneyler sırasında bunlara erişimi olmadığını söyledi.

Kang ve meslektaşları GPT-4 yapay zeka aracısını yalnızca 91 satır kodla oluşturdu. Gazete, “Gelecekteki modellerin neler yapabileceğini tahmin ederseniz, muhtemelen senaryo çocuklarının bugün erişebileceklerinden çok daha yetenekli olacaklar” diyor.

GPT-4’ün başarısının önemli bir uyarısı var: Görevi gerçekleştirmek için kusurun CVE açıklamasına ihtiyacı var. Bu olmadan yapay zeka aracısı güvenlik açıklarının yalnızca %7’sinden yararlanabilir.

Yapay zeka aracıları, otomasyon yazılımıyla birleştirilen büyük dil modelleridir. Bu çalışmada GPT-4, yazılımdaki güvenlik açıklarını bağımsız olarak analiz etme ve kullanma konusunda yeni ortaya çıkan bir yetenek göstermemektedir, ancak mevcut içerik ve kod parçacıklarını birleştirerek yazılım otomasyonunun temel bir bileşeni olarak değerini göstermektedir, dedi Chris Rohlf. Georgetown Güvenlik ve Gelişen Teknoloji Merkezi’nin CyberAI Projesi’nde yerleşik araştırma görevlisi.

GPT-4’ün yararlanamadığı tek güvenlik açığı Iris XSS ve Hertzbeat RCE idi.

Iris, olay müdahale ekiplerinin soruşturmalar sırasında teknik ayrıntıları paylaşmasına olanak tanıyan bir uygulamadır. Araştırmacılar, “gezinme JavaScript aracılığıyla yapıldığından, bir Yüksek Lisans temsilcisinin gezinmesinin son derece zor olduğunu” söyledi. Ancak Rohlf, GPT-4’e tavsiyenin ne anlama geldiğini ve kod pasajının nasıl çalıştığını açıklayarak bu sorunu çözebileceğini söyledi. “Bu danışma belgesinden kavram kanıtı istismarını çıkarmak ve JNDI uç noktasından yararlanmak oldukça önemsizdir” dedi.

Üniversite bilim insanları, İngilizce destekli GPT-4’ün, CVE tanımının Çince olması nedeniyle Hertzbeat’ten yararlanamayacağını ve bunun da ajanın kafasını karıştırdığını söyledi. Rohlf, aracı ve GPT-4’ün bu araştırmada bir kullanım otomasyon motoru olarak çerçevelenmesinden dolayı bu sınırlamanın “biraz ironik” olduğunu, ancak yine de “kullanıcı arayüzü navigasyon sorununun üstesinden gelemediklerini” söyledi. Sınırlamanın muhtemelen “kolayca aşılabileceğini” ancak yazarların kodlarını yayınlamaması nedeniyle bunu test edemediğini söyledi.

Kang, OpenAI’nin “ekipten bu noktada istemleri kamuya açıklamamasını açıkça istediğini” söyledi. OpenAI, yorum talebine yanıt vermedi.

Araştırmacılar, yönlendirmenin “ayrıntılı olduğunu ve temsilciyi yaratıcı olmaya, pes etmemeye ve farklı yaklaşımlar denemeye teşvik ettiğini” söyledi. Etik nedenlerden ötürü uyarıları kamuya açıklamadılar ancak talep üzerine paylaşacaklarını söylediler.

En son çalışma, araştırmacıların Şubat ayında sanal alan ortamındaki web sitelerine yönelik saldırıları otomatikleştirmek için LLM’lerin nasıl kullanılabileceğini açıklayan bir makale yayınlamasından aylar sonra geldi.

LLM acenteleri son birkaç yılda giderek daha popüler hale geldi. Aracılar yalnızca bilgileri derlemek ve sunmak yerine, bir görevin alt kümelerini tamamlamak, karmaşık yazılım mühendisliği görevlerini gerçekleştirmek ve bilimsel araştırmalara yardımcı olmak için ellerindeki araçları kullanarak başka alt aracılar oluşturabilirler.

Araştırmacılar, diğer benzer çalışmaların “yalnızca oyuncak bayrak yakalama alıştırmaları bağlamında yapıldığını. Çalışmamızda yüksek lisansların gerçek dünyadaki güvenlik açıklarını hackleme yeteneklerini araştırıyoruz” dedi.

Çalışmanın sonuçları, ortaya çıkan bir yeteneğin olasılığını gösterdiğini ve bir güvenlik açığını ortaya çıkarmanın, onu kullanmaktan daha zor olduğunu belirtti.

Araştırmacılar, bir saldırı gerçekleştirmenin maliyetini istismar başına 8,80 dolar olarak hesapladılar; bu, bir insan penetrasyon test cihazını yarım saatliğine işe almaktan neredeyse üç kat daha düşük. Kang, GPT-4 ajanlarının da “önemsiz olarak paralelleştirilebilir” olduğunu, bunun da maliyetin esasen konuşlandırılan ajan sayısına göre doğrusal olacağı anlamına geldiğini söyledi. “Bu durum insanlar için geçerli değil” dedi.

Kang, “Benim kişisel görüşüm, pek çok insanın hem yetenek hem de maliyet açısından yapay zekadaki eğilimleri hafife aldığı yönünde” dedi. GPT-4 turbo zaten GPT-4’ten üç kat daha ucuz ve fiyatların düşmesi muhtemel. GPT-4, GPT-3.5’ten çok daha yeteneklidir ve GPT-5’in de büyük olasılıkla GPT-4’ten daha yetenekli olacağını söyledi. Kang’a göre ekibin öncelikli hedefi sınırdaki ajanların yeteneklerindeki eğilimleri vurgulamak ve “diğerlerinin ima edebileceği gibi mevcut ajanların tehlikeli olduğunu söylememekti.”

Kang, ekibinin hâlâ “çalışmamızın sonuçları üzerinde düşündüğünü” ve “bulgularımızın ne gibi bir etki yaratacağından emin olmadığını” söyledi. Yüksek Lisans ve bilgisayar güvenliği ortamı hızla değişiyor, “o kadar hızlı ki işlerin nereye gideceğini tahmin etmekte zorlanıyorum” dedi.