ChatGPT ve Bard, JavaScript Kusurlarını Nasıl Düzeltiyor?


Araştırmacılar ChatGPT ve Bard'ın JavaScript Kusurlarını Nasıl Düzelttiğini Açıkladı

JavaScript'in yaygın kullanımına rağmen, güvenli kod yazmak hala zorlu olmaya devam ediyor ve bu da web uygulamalarında güvenlik açıklarına yol açıyor.

Gerçek dünyadaki güvenlik açıkları üzerine yapılan deneyler, LLM'lerin otomatik JavaScript program onarımı konusunda umut vaat ettiğini gösteriyor, ancak doğru düzeltmelerin elde edilmesi, sıklıkla LLM'ye verilen istemde uygun miktarda bağlamsal bilginin sağlanmasını gerektiriyor.

Simon Fraser Üniversitesi'nden aşağıdaki siber güvenlik araştırmacıları yakın zamanda ChatGPT ve Bard'ın JavaScript kusurlarını nasıl düzelttiklerini açıkladılar:

  • Tan Khang Le
  • Saba Alimadadi
  • Steven Y.Ko

Belge

Ücretsiz Web Semineri: Güvenlik Açığı ve 0 Günlük Tehditlerin Azaltılması

Güvenlik ekiplerinin 100'lerce güvenlik açığını önceliklendirmesi gerekmediğinden, hiç kimseye yardımcı olmayan Uyarı Yorgunluğu. :

  • Günümüzün kırılganlık yorgunluğu sorunu
  • CVSS'ye özgü güvenlik açığı ile risk tabanlı güvenlik açığı arasındaki fark
  • Güvenlik açıklarının iş etkisine/riskine göre değerlendirilmesi
  • Uyarı yorgunluğunu azaltmak ve güvenlik duruşunu önemli ölçüde geliştirmek için otomasyon

Riski doğru bir şekilde ölçmenize yardımcı olan AcuRisQ:


JavaScript Kusurlarını Düzeltmek

Statik analiz ve bulanıklaştırma gibi tekniklerin kullanılmasına rağmen, JavaScript'in dinamik, eşzamansız doğası nedeniyle programları anlamak ve analiz etmek bazen hala zordur.

Geliştirme sürecinde birçok programcı, programlarını güvenli hale getirmeye çalışırken farkında bile olmadan güvenlik açıkları yaratır.

⁤Ayrıca, doğru araçlarla kullanıldığında büyük dil modelleri (BLM'ler), yeni güvenlik hatalarını azaltırken geliştirici verimliliğini artırma potansiyeline sahiptir. ⁤

⁤Ancak bu tür Yüksek Lisansların, C/C++ ve Verilog dilleriyle karşılaştırıldığında JavaScript'teki güvenlik açıklarını belirleme ve düzeltme açısından ne kadar etkili olduğuna ilişkin çok az araştırma yapılmıştır.

Artan sistem açıkları nedeniyle, otomatik program onarımı, kaynak kodu yamaları oluşturma tekniklerine odaklanan bir araştırma alanı olarak ortaya çıkmıştır.

Klasik yaklaşımlar, işlevselliği değiştirmeden hataları gideren program değişkenlerini aramak için genetik programlamanın kullanılmasını ve otomatik yama yapımı için anlamsal analizin kullanılmasını içerir.

Büyük dil modellerinin (LLM'ler) yükselişi, otomatik program onarımında büyük ilerlemelere yol açtı.

Yüksek Lisans'ın JavaScript'teki güvenlik hatalarını belirleme ve düzeltme konusundaki doğruluğu, belirli bir koddaki belirli bir “Sınır Dışı Yazma” güvenlik açığının onarılmasına verdikleri yanıtları inceleyen araştırmacılar tarafından araştırılıyor.

Bu sorunu çözmenin birçok farklı yolu olsa da biz tüm olası çözümlere kapsamlı bir şekilde bakmak yerine Yüksek Lisans'ların çalışan, güvenli bir yama bulup bulamayacağını öğrenmekle ilgileniyoruz.

Giriş istemi ve yanıt örneği (Kaynak - Arxiv)
Giriş istemi ve yanıt örneği (Kaynak – Arxiv)

Bu değerlendirmeyle LLM'nin otomatik JavaScript hata düzeltme yetenekleri ortaya çıkıyor.

Bağlamsal bilgilerin LLM'lerin onarım üretme yeteneği üzerindeki etkisini incelemek için, farklı bağlam düzeylerine sahip üç bilgi istemi şablonu tasarlandı:

  • Yalnızca onarım talimatları ve güvenlik açığı bulunan kodla bağlamdan bağımsız
  • Beklenen güvenlik açığı türünü eklemeye yönelik bağlama duyarlı
  • Güvenlik açığını ve potansiyel istismarları açıklayan ayrıntılı yorumlar içeren zengin içerikli
Önerilen bilgi istemi şablonları (Kaynak - Arxiv)
Önerilen bilgi istemi şablonları (Kaynak – Arxiv)

Burada siber güvenlik analistleri, tespit edilen 20 popüler JavaScript güvenlik açığını seçti ve farklı bağlam düzeylerine sahip üç şablon, 60 onarım istemi oluşturdu.

ChatGPT ve Bard'ın bu kusurlu kodları otomatik olarak düzeltme konusunda nasıl performans gösterdiğine ilişkin değerlendirmeler, ChatGPT'nin %71,66'ya ulaşan doğruluk oranının, neredeyse benzer bir yüzde olan %68,33'lük ikinci Bard'a kıyasla daha yüksek olduğunu gösterdi.

⁤Bu bulgular, büyük dil modellerinin otomatik JavaScript güvenlik açıklarını onarabildiğini gösteriyor ve uygun yanıtların oluşturulmasında bağlamsal ipuçlarının oynadığı role dair kanıt sağlıyor.

Siber Güvenlik haberleri, Teknik İncelemeler ve İnfografiklerden haberdar olun. Bizi LinkedIn'de takip edin & heyecan.





Source link