Bilim adamları, bilgisayar ağlarını korumak için derin pekiştirmeli öğrenme veya DRL olarak bilinen bir yapay zeka biçiminden yararlanma yolunda önemli bir adım attılar.
Otonom siber savunma çerçevesi
Titiz bir simülasyon ortamında karmaşık siber saldırılarla karşı karşıya kalındığında, derin pekiştirmeli öğrenme, rakiplerin hedeflerine ulaşmasını zamanın yüzde 95’ine varan oranlarda durdurmada etkili oldu. Sonuç, proaktif siber savunmada otonom yapay zeka için bir rol vaat ediyor.
Enerji Bakanlığı Pasifik Kuzeybatı Ulusal Laboratuvarı’ndan (PNNL) bilim adamları bulgularını bir araştırma makalesinde belgelediler.
Başlangıç noktası, farklı düşman türlerini içeren çok aşamalı saldırı senaryolarını test etmek için bir simülasyon ortamı geliştirmekti. Deneyler için böylesine dinamik bir saldırı-savunma simülasyon ortamının yaratılması başlı başına bir kazançtır. Ortam, araştırmacıların kontrollü test ayarları altında farklı AI tabanlı savunma yöntemlerinin etkinliğini karşılaştırmasına olanak tanır.
Bu tür araçlar, derin pekiştirmeli öğrenme algoritmalarının performansını değerlendirmek için gereklidir. Yöntem, siber güvenlik uzmanları için güçlü bir karar destek aracı olarak ortaya çıkıyor – öğrenme, hızla değişen koşullara uyum sağlama ve özerk kararlar alma becerisine sahip bir savunma ajanı. Diğer yapay zeka türleri, izinsiz girişleri tespit etmek veya spam mesajlarını filtrelemek için standart olsa da, derin pekiştirmeli öğrenme, savunucuların, rakiplerle günlük karşılaşmalarında sıralı karar alma planları düzenleme becerilerini genişletir.
Derin takviyeli öğrenme, daha akıllı siber güvenlik, siber ortamdaki değişiklikleri daha erken algılama yeteneği ve bir siber saldırıyı engellemek için önleyici adımlar atma fırsatı sunar.
DRL: Geniş bir saldırı alanında kararlar
Ekibin çalışmasını sunan bir veri bilimcisi olan Samrat Chatterjee, “Siber güvenlik için etkili bir yapay zeka aracısının toplayabildiği bilgilere ve aldığı kararların sonuçlarına göre algılaması, algılaması, harekete geçmesi ve uyum sağlaması gerekir” dedi. “Derin takviyeli öğrenme, sistem durumlarının ve eylem seçeneklerinin sayısının fazla olabileceği bu alanda büyük bir potansiyel barındırıyor.”
Takviyeli öğrenme ile derin öğrenmeyi birleştiren DRL, özellikle karmaşık bir ortamda bir dizi kararın alınması gereken durumlarda ustadır. Arzu edilen sonuçlara götüren iyi kararlar, olumlu bir ödülle (sayısal bir değer olarak ifade edilir) desteklenir; istenmeyen sonuçlara yol açan kötü seçimler, olumsuz bir maliyetle caydırılır.
İnsanların birçok görevi nasıl öğrendiğine benzer. Ev işlerini yapan bir çocuk, arzu edilen bir oyun günü ile olumlu pekiştirme alabilir; işini yapmayan bir çocuk, dijital bir cihazın paket servisi gibi, olumsuz pekiştirme alır.
Chatterjee, “Takviyeli öğrenmede aynı kavram,” dedi. “Temsilci, bir dizi eylem arasından seçim yapabilir. Her eylemle birlikte, belleğinin bir parçası haline gelen iyi ya da kötü geri bildirim gelir. Yeni fırsatları keşfetmekle geçmiş deneyimlerden yararlanmak arasında bir etkileşim vardır. Amaç, iyi kararlar vermeyi öğrenen bir temsilci yaratmaktır.”
MITRE ATT&CK ve Açık AI Spor Salonu
Ekip, dört derin takviyeli öğrenme algoritmasının güçlü ve zayıf yönlerini değerlendirmek üzere özel ve kontrollü bir simülasyon ortamı oluşturmak için Open AI Gym olarak bilinen açık kaynaklı bir yazılım araç setini kullandı.
Ayrıca MITRE ATT&CK çerçevesini kullandılar ve üç farklı düşman tarafından uygulanan yedi taktik ve 15 tekniği birleştirdiler. Savunmacılar, bir saldırının ilerlemesini durdurmak veya önlemek için 23 hafifletme eylemiyle donatıldı.
Saldırının aşamaları, keşif, infaz, ısrar, savunmadan kaçınma, komuta ve kontrol, toplama ve sızma (veriler sistem dışına aktarıldığında) taktiklerini içeriyordu. Bir saldırı, son sızma aşamasına başarıyla ulaştıysa, düşman için bir galibiyet olarak kaydedildi.
Chatterjee, “Algoritmalarımız rekabetçi bir ortamda çalışıyor; bir rakibin sistemi kırmaya niyetli olduğu bir yarışma,” dedi. “Bu, düşmanın keşiften sömürüye geçmeye çalışırken zamanla değişebilen birden çok saldırı yolunu izleyebildiği çok aşamalı bir saldırıdır. Bizim görevimiz, derin pekiştirmeli öğrenmeye dayalı savunmaların böyle bir saldırıyı nasıl durdurabileceğini göstermektir.”
DQN (Derin Q-Ağı)
Ekip, dört derin pekiştirmeli öğrenme algoritmasına dayalı olarak savunma görevlilerini eğitti: DQN ve aktör-eleştirmen yaklaşımı olarak bilinen yaklaşımın üç varyasyonu. Temsilciler, siber saldırılarla ilgili simüle edilmiş verilerle eğitildi, ardından eğitimde gözlemlemedikleri saldırılara karşı test edildi. DQN en iyi performansı gösterdi.
En az karmaşık saldırılar (farklı düzeylerde düşman beceri ve sebatına dayalı): DQN saldırıların yüzde 79’unu saldırı aşamalarının ortasında ve yüzde 93’ünü son aşamada durdurdu.
Orta derecede gelişmiş saldırılar: DQN, saldırıların yüzde 82’sini yarıda ve yüzde 95’ini son aşamada durdurdu.
En gelişmiş saldırılar: DQN, saldırıların yüzde 57’sini yarıda ve yüzde 84’ünü son aşamada durdurdu – diğer üç algoritmadan çok daha yüksek.
Chatterjee, “Amacımız, bir düşmanın sonraki en olası adımını öğrenebilen, bunun için plan yapabilen ve ardından sistemi korumak için en iyi şekilde yanıt verebilen otonom bir savunma ajanı yaratmaktır” dedi.
İlerlemeye rağmen, hiç kimse siber savunmayı tamamen bir yapay zeka sistemine emanet etmeye hazır değil. Daha önce PNNL’den ortak yazar olan Arnab Bhattacharya, bunun yerine, DRL tabanlı bir siber güvenlik sisteminin insanlarla uyum içinde çalışması gerektiğini söyledi.
Bhattacharya, “Yapay zeka, belirli bir stratejiye karşı savunmada iyi olabilir, ancak bir rakibin alabileceği tüm yaklaşımları anlamada o kadar iyi olmayabilir” dedi. “Yapay zekanın insan siber analistlerin yerini alabileceği aşamanın yakınında değiliz. İnsan geri bildirimi ve rehberliği önemlidir.”
Chatterjee ve Bhattacharya’ya ek olarak, AAAI çalıştay raporunun yazarları arasında PNNL’den Mahantesh Halappanavar ve eski bir PNNL bilim adamı olan Ashutosh Dutta yer alıyor. Çalışma, DOE’nin Bilim Ofisi tarafından finanse edildi.