Güvenlik Açığı Tespiti için ChatGPT – Kullanılan İstemler ve Yanıtlar


Güvenlik Açığı Tespiti için ChatGPT – Kullanılan İstemler ve Yanıtları

Yazılımdaki güvenlik açıkları, esasen kötü niyetli aktörlerin yararlanabileceği kod hatalarıdır. CodeBERT, GraphCodeBERT ve CodeT5 gibi gelişmiş dil modelleri bu güvenlik açıklarını tespit edebilir, ayrıntılı analiz değerlendirmeleri sağlayabilir ve hatta bunları gidermek için yamalar önerebilir.

Bu modellerin yazılımdaki güvenlik açıklarını belirlemede ve azaltmada son derece etkili olduğu kanıtlanmıştır ve bu da onları, güvenlik duruşunu geliştirmek isteyen her kuruluş için önemli bir araç haline getirmektedir.

VSCode’daki AIBugHunter adlı bir araç, yeterli yazılım güvenliği için bu modelleri kullanır.

Belge

ÜCRETSİZ Web Semineri

API güvenliği yalnızca bir öncelik değildir; işletmelerin ve kuruluşların yaşam çizgisidir. Ancak bu karşılıklı bağlantı, genellikle yüzeyin altına gizlenmiş bir dizi güvenlik açığını da beraberinde getiriyor.


ChatGPT ve diğer büyük dil modelleri kodla ilgili görevlerde mükemmel olsa da, aşağıdakiler de dahil olmak üzere güvenlik açığı iş akışının tamamı için potansiyellerini değerlendiren kapsamlı bir çalışma yok:

  • Tespit etme
  • Tür açıklaması
  • Şiddet tahmini
  • Onarım önerileri

Son zamanlarda, Avustralya’nın Clayton kentindeki Monash Üniversitesi’nden aşağıdaki siber güvenlik araştırmacıları, ChatGPT’nin tahmin, sınıflandırma ve akıllı sözleşme düzeltme dahil olmak üzere yazılım güvenlik açığı görevlerinde kullanımını araştırdı: –

  • Michael Fu
  • Çakkritçe (Kla) Tantithamthavorn
  • Van Nguyen
  • Trung Le

Önceki çalışmalardan bazıları, otomatik program onarımındaki büyük dil modellerini incelemiş ancak en son ChatGPT sürümlerini incelememiştir.

ChatGPT Güvenlik Açığı Tespiti

Siber güvenlik araştırmacıları ChatGPT’nin aşağıdaki dört güvenlik açığı tahmin görevine yönelik yeteneğini analiz etti: –

  • İşlev ve hat düzeyinde yazılım güvenlik açığı tahmini (SVP)
  • Yazılım güvenlik açığı sınıflandırması (SVC)
  • Şiddet tahmini
  • Otomatik güvenlik açığı onarımı (APR)

ChatGPT’nin 1,7 trilyon parametresi, CodeBERT gibi kaynak kodu odaklı modellerin parametrelerini büyük ölçüde aşarak istem tabanlı kullanımı zorunlu hale getiriyor. ChatGPT’nin özel parametreleri nedeniyle güvenlik açığı görevlerine ince ayar yapmak mümkün değildir.

İşlev ve hat düzeyinde güvenlik açığı tahmini için örnek bir bilgi istemi
İşlev ve hat düzeyinde güvenlik açığı tahmini için örnek bir bilgi istemi (Kaynak – Arxiv)

Güvenlik analistleri ChatGPT’yi (get-3.5-turbo ve gpt-4) koda özgü modellerle karşılaştırarak değerlendiriyor.

Big-Vul ve CVEFixes veri kümelerini kullanarak dört araştırma sorusunu ele alan dört güvenlik açığı görevinde AIBugHunter, CodeBERT, GraphCodeBERT ve VulExplainer ile karşılaştırdılar.

Burada, aşağıdaki dört araştırma sorusundan ve ilgili sonuçlarından bahsettik: –

(RQ1) ChatGPT, işlev ve hat düzeyindeki güvenlik açığı tahminleri açısından ne kadar doğrudur?

  • Sonuçlar: ChatGPT, diğer temel yöntemlerle karşılaştırıldığında en düşük değerler olan %10 ve %29’luk F1 ölçümüne ve %25 ve %65’lik ilk 10 doğruluğuna ulaşır.

(RQ2) ChatGPT’nin güvenlik açığı türü sınıflandırması ne kadar doğrudur?

  • Sonuçlar: ChatGPT, en iyi taban çizgisinden %45-%52 daha düşük olan %13 ve %20’lik en düşük çoklu sınıf doğruluğuna ulaşır.

(RQ3) ChatGPT güvenlik açığı ciddiyet tahmini açısından ne kadar doğrudur?

  • Sonuçlar: ChatGPT, 5,4 ve 5,85’lik en yüksek ortalama karesel hata (MSE) ile en hatalı ciddiyet tahminini verirken, diğer temel yöntemler 1,8 ila 1,86 arasında MSE elde etti.

(RQ4) Otomatik güvenlik açığı onarımı için ChatGPT ne kadar doğrudur?

  • Sonuçlar: ChatGPT, doğru onarım yamalarını oluşturmada başarısız olurken diğer temeller, savunmasız işlevlerin %7 ila %30’unu doğru şekilde onardı.
CWE-ID sınıflandırması istemi
CWE-ID sınıflandırması istemi (Kaynak – Arxiv)

ChatGPT doğru onarım yamaları üretmedi, oysa ince ayarlı taban çizgileri %7-%30 oranında onarıldı. BLEU ve METEOR puanları temel yamaların gerçek yamalara daha yakın olduğunu doğruluyor.

Bu, ChatGPT’nin alana özgü ince ayar gerektirdiğini öne sürerek güvenlik açığı onarımının zorluğunu vurgulamaktadır.

Diğer ChatGPT Gelişmeleri:

850’den fazla üçüncü taraf uygulamaya hızla yama uygulamak için Patch Manager Plus’ı kullanarak kendinizi güvenlik açıklarından koruyun. Avantajlardan yararlanın ücretsiz deneme % 100 güvenlik sağlamak için.



Source link