Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme, Güvenlik Operasyonları
Project Zero Çerçevesi Yapay Zeka Hata Tespit Becerilerini Artırmayı Amaçlıyor
Rashmi Ramesh (raşmiramesh_) •
21 Haziran 2024
Google’ın sıfır gün avcılarından oluşan ekibi, yapay zekanın gelişmiş otomatik tehdit tanımlama ve analizine yol açabileceğini ve mevcut araçların gözden kaçırdığı güvenlik açıklarını tespit edebileceğini söyledi.
Ayrıca bakınız: Güvenliğin Geleceği Neden Kimliktir?
Project Zero ekibinden araştırmacılar Perşembe günü yaptığı açıklamada, büyük dil modellerinin, manuel kod denetimleri ve tersine mühendislik gibi insan güvenliği araştırmacılarının sistematik yöntemlerini nasıl kopyalayabileceğini araştırdıklarını söyledi.
Ekip, “Gelecekte bunun, mevcut otomatik güvenlik açığı keşif yaklaşımlarının bazı kör noktalarını kapatabileceğini ve ‘belirlenemez’ güvenlik açıklarının otomatik olarak tespit edilmesini mümkün kılacağını umuyoruz” dedi. Fuzzing, güvenlik açıklarını bulmak için rastgele girdiler kullanır.
Google araştırmacıları, Yüksek Lisans’ın güvenlik açığı keşfi potansiyelini test ettiklerini belirterek, teknikleri iyileştirerek yapay zekanın potansiyel olarak geleneksel yöntemlerden daha iyi performans gösterebileceğini ekledi.
Meta, LLM’lerin bellek güvenliği sorunlarını bulma ve bunlardan yararlanma konusunda ne kadar yetenekli olduğunu test etmek için tasarlanmış bir kıyaslama paketi olan CyberSecEval 2’yi Nisan ayında piyasaya sürdü. İlk bulgular Yüksek Lisans’ın bu görevlerle uğraştığını gösterdi.
Project Zero’nun son araştırması, daha iyi test metodolojileri ile Yüksek Lisans’ların gelişebileceğini gösteriyor. Bir Google çerçevesi, özellikle arabellek taşması ve gelişmiş bellek bozulması testlerinde CyberSecEval 2 karşılaştırma testlerindeki puanları 20 kata kadar artırdı.
Bu iyileştirmeleri uygulamaya koymak için Project Zero, Naptime adında bir çerçeve geliştirdi. Araştırmacılar, Naptime’ın bir yüksek lisans kurumunun, insan güvenliği uzmanlarının yinelemeli, hipoteze dayalı yaklaşımını yakından taklit eden güvenlik açığı araştırması yapmasına olanak tanıdığını söylüyor. Önemli bir unsur, araştırmacıların “kritik” özellik olarak adlandırdığı çıktının otomatik olarak doğrulanmasını sağlamak için Yüksek Lisans’ı göreve özel araçlarla donatmasıdır.
Araştırmacılar, “Bu projeye, işlerimizde bize yardımcı olurken düzenli olarak kestirmemize olanak verme potansiyeli nedeniyle Naptime adı verildi” dedi. “Lütfen yöneticimize söylemeyin.”
Araştırmacılar, uzman bir insanın muhakeme, hipotez oluşturma ve doğrulama gibi tekrarlanan birden fazla adıma güveneceği görevler için yapay zeka modellerine esneklik tanınması gerektiğini söyledi. Bunu yapmak için, yüksek lisans öğrencilerinin doğruluğu artırmak için sorunlar üzerinde ayrıntılı olarak düşünmelerine izin verilmesini ve insan araştırmacıların çalışma şekline benzer şekilde modellerin, analizlerini iyileştirmek için program ortamıyla etkileşime girmesine izin verilmesini önerdiler. Araştırmacılar, LLM’lere hata ayıklayıcılar ve komut dosyası oluşturma ortamları gibi araçlar sağlamanın aynı zamanda insan uzmanların yaptığı görevleri yerine getirmelerine yardımcı olabileceğini, görevlerin otomatik, net doğrulama için yapılandırılmasının güvenilir sonuçlar sağladığını söyledi. Yapay zeka modellerine ayrıca, sorunları çözmek için birden fazla bağımsız girişimde bulunmanın keşif ve keşifleri geliştirebileceği bir örnekleme stratejisi verilmesi gerektiğini söylediler.
Project Zero, Naptime’ı CyberSecEval 2 kriterleriyle test etti. Arabellek taşması ve gelişmiş bellek bozulması kategorilerinde Naptime, temel modellerden önemli ölçüde daha iyi performans gösterdi. Gelişmiş bellek bozulması testlerinde Naptime, çökmelerin yeniden oluşturulmasına ve güvenlik açıklarının bulunmasında hassasiyetin artırılmasına yardımcı oldu.
Yüksek Lisans ile gelişmiş güvenlik performansı sergilemesine rağmen Project Zero, bu araçların günlük güvenlik araştırmalarında yaygın olarak kullanılmasından önce yapılması gereken daha fazla iş olduğunu söyledi.
“Doğru araçlar sağlandığında, mevcut yüksek lisans eğitimleri gerçekten de oldukça basit bir güvenlik açığı araştırması yapmaya başlayabilir!” araştırmacılar söyledi.