AutoPatchBench, AI araçlarının kod hatalarını ne kadar iyi düzeltebileceğini test eden yeni bir ölçüttür. Fuzzing yoluyla bulunan C ve C ++ güvenlik açıklarına odaklanır. Benchmark, ARVO veri kümesinden alınan 136 gerçek hata ve doğrulanmış düzeltmeleri içerir.
Yama üretimi akış şeması
CyberCeval 4
AutoPatchBench, çeşitli LLM tabanlı otomatik patching maddelerini, özellikle kullanılan bir otomatik güvenlik testi yöntemi olan bulanıklaştırma yoluyla tanımlanan güvenlik açıkları için objektif olarak değerlendirmek ve karşılaştırmak için tasarlanmış bir ölçüt olan Meta’nın Cyberseceval 4’ün bir parçasıdır.
Aynı testleri araçlar arasında kullanarak, AutoPatchBench sonuçları karşılaştırmayı kolaylaştırır. Bu, araştırmacıların neyin işe yaradığını, neyin ve nasıl geliştirileceğini tespit etmelerine yardımcı olur.
AutoPatchbench’i ayıran şey doğrulama metodolojisidir. Meta araştırma bilimcisi TJ Byun, Net Security’ye verdiği demeçte, “Yamaların kazaları oluşturup durdurmadığını kontrol etmenin ötesine geçiyor” dedi. “Benchmark, AI tarafından üretilen yamaların doğruluğunu kontrol etmek için bulanık ve beyaz kutu diferansiyel testi yoluyla ek doğrulama içeriyor.” Bu, yamaların sadece çökmeleri engellememesini sağlar, aynı zamanda kodun amaçlanan işlevselliğini korumasını sağlar, yamalı fonksiyon, çok çeşitli bulanık türevi girişler kullanarak, yamalı işlev güvenilir bir uygulamaya karşı döndükten sonra karşılaştırılarak doğrulanır.
AutoPatch-Lite
Daha önceki aşama araçları desteklemek için ekip, tek fonksiyonlu kök nedenlerle sınırlı 113 güvenlik açıklarının basitleştirilmiş bir alt kümesi olan AutoPatchbench-Lite’ı da geliştirdi.
Bu sürüm, tutarlı üreme ve doğrulama için çift kontinen kurulumlar da dahil olmak üzere tam ölçütün titizliğini korurken, yeni araçların değerlendirilmesi için bariyeri düşürür. Byun, “Bu değerlendirme çerçevesinin oluşturulmasında hedeflenen yaklaşımımızın AI yeteneklerinin daha kesin değerlendirilmesini sağladığına inanıyoruz” dedi. Gerçekçilik, otomasyon ve kapsamlı doğrulama kombinasyonu ile AutoPatchBench, geliştiricilerin AI tarafından oluşturulan güvenlik yamalarını daha iyi anlamalarına ve güvenmelerine yardımcı olarak alandaki ilerlemeyi hızlandırmayı amaçlamaktadır.
AutoPatchbench ve açık kaynak
AI-destekli güvenlik açığı iyileştirmesinde işbirliğini teşvik etmek ve ilerlemeyi hızlandırmak için ekip, AutoPatchbench’i tamamen açık kaynak yaptı. Byun, “Daha sağlam ve etkili otomatik araçların geliştirilmesi için AI Patch üretiminin doğruluğunu ve güvenilirliğini ilerletmeye teşvik etmek için açık kaynaklı AutoPatchbench” diye açıkladı.
Benchmark’ın kendisine ek olarak, araştırmacılar bir performans taban çizgisi olarak hizmet etmek için tasarlanmış temel bir AI yama jeneratörü geliştirdi ve yayınladılar. Daha basit durumlar için tasarlanmış, özellikle tek bir işlevi değiştirerek ele alınabilecek çökmeler, referans uygulaması başkalarının üzerine inşa etmesi için bir başlangıç noktası sunar. Byun, “Ayrıca toplumu inşa etmeye ve genişletmeye teşvik etmek için bu referans uygulamasını da açık kaynakladık” diye ekledi.
Gelecek Gelişmeler ve İndir
Ekip, hem kıyaslama hem de taban çizgisini halka açık hale getirerek gelecekteki araştırma ve geliştirme için ortak bir temel oluşturmayı umuyor. Byun, “Otomatik Patch araçlarının geliştiricileri, araçlarını geliştirmek ve ölçüt kullanarak etkinliklerini değerlendirmek için açık kaynaklı yama jeneratörümüzden yararlanabilirler” dedi.
Yardımcı program da kıyaslamanın ötesine uzanır. Fuzzing kullanan yazılım projeleri, güvenlik açığı iyileştirmesini hızlandırmak için yama jeneratörünü benimseyebilir ve destekleyici araçlar, eğitim sırasında ödül sinyallerini şekillendirmek için takviye öğrenme boru hatlarında kullanılabilir. “Bu veriler, modellerin hata onarımının nüanslarını daha iyi anlamaları için eğitmeye yardımcı olur,” diye açıkladı Byun, “geçmiş düzeltmelerden öğrenmelerini ve doğru yamalar üretme yeteneklerini geliştirmelerini sağlayarak.”
AutoPatchBench GitHub’da ücretsiz olarak kullanılabilir.
Okumalı:
Temel açık kaynaklı siber güvenlik araçları hakkında bilgi sahibi olmak için Net Security Reklamsız Aylık Haber Bülteni’ne abone olun. BURADA Abone Olun!