Microsoft ve MITRE tarafından oluşturulan yeni bir eklenti, siber güvenlik profesyonellerinin makine öğrenimi (ML) sistemlerine yönelik saldırılara karşı savunmalarını güçlendirmelerine yardımcı olmak için çeşitli açık kaynaklı yazılım araçlarını entegre ediyor.
Arsenal aracı, MITRE ATLAS çerçevesinde tanımlanan taktikleri ve teknikleri uygular ve güvenlik uygulayıcılarının, makine öğrenimi veya yapay zeka konusunda derin bir geçmişe sahip olmadan makine öğrenimi içeren sistemlere yönelik saldırıları doğru bir şekilde taklit edebilmesi için otomatik bir düşman saldırı kitaplığı olarak Microsoft’un Counterfit’inden işbirliğiyle oluşturulmuştur. (Al).
MITRE Labs Kıdemli Başkan Yardımcısı, Ph.D. ve baş fütürist Charles Clancy, “Bu araçları bir araya getirmek, siber güvenlik topluluğu için büyük bir kazanç çünkü bu, düşmanca makine öğrenimi saldırılarının nasıl gerçekleştiğine dair içgörüler sağlıyor” dedi. “Makine öğrenimi sistemleriyle olası güvenlik açıklarını ele almak için birlikte çalışmak, kullanıcı güvenini artırmaya yardımcı olacak ve bu sistemlerin toplum üzerinde olumlu bir etkiye sahip olmasını daha iyi sağlayacaktır.”
Arsenal’de Microsoft ile işbirliği, MITRE’nin sağlık hizmetlerinden ulusal güvenliğe kadar değişen alanlarda görev açısından kritik uygulamalar için makine öğrenimi ve yapay zeka sistemlerinin daha iyi kullanılmasını sağlamak amacıyla güven, şeffaflık ve adalet gibi konuları ele alan bir araç ailesi geliştirme çabalarının yalnızca bir örneğidir. .
Microsoft’un Counterfit’i, makine öğrenimi araştırmacılarının yapay zeka algoritmalarına çeşitli düşmanca saldırılar uygulamasını sağlayan bir araçtır. MITRE CALDERA, belirli düşman profillerinin oluşturulmasını ve otomasyonunu sağlayan bir platformdur. Yapay Zeka Sistemleri için Düşman Tehdit Manzarası anlamına gelen MITRE ATLAS, gerçek dünya gözlemlerine, ML kırmızı ekiplerinden ve güvenlik gruplarından ve devletten yapılan gösterilere dayalı ML sistemleri için düşman taktikleri, teknikleri ve vaka incelemelerinden oluşan bir bilgi tabanıdır. akademik araştırmalardan mümkün olanlardan.
Arsenal eklentisi, CALDERA’nın Microsoft’un Counterfit kitaplığını kullanarak saldırgan saldırıları ve davranışları taklit etmesini sağlar.
Clancy, “Günümüzde başka otomatikleştirilmiş araçlar var olsa da, sistemin bir kurumsal ağın parçası olarak karşılaşacağı güvenlik tehditlerinden ziyade, genellikle bir makine öğrenimi sistemindeki belirli güvenlik açıklarını inceleyen araştırmalar için daha uygundurlar,” dedi.
Makine öğrenimi sistemlerini bir kurumsal ağa entegre ederken ve bu sistemleri gerçek dünyadaki kullanım durumları için dağıtırken sağlam bir uçtan uca makine öğrenimi iş akışı oluşturmak gerekir. Bu iş akışı, sistemin olası ve meşru güvenlik açıklarının tespit edilmesini zorlaştırarak karmaşık hale gelebilir. Arsenal eklentisinin CALDERA’ya entegrasyonu, güvenlik uzmanlarının uçtan uca bir ML iş akışının yapı taşları içindeki yeni güvenlik açıklarını keşfetmesine ve gerçek dünyada dağıtılan ML sistemlerinin kötüye kullanılmasını önlemek için karşı önlemler ve kontroller geliştirmesine olanak tanır.
“Dünya, kuruluşların çalışma şeklini olumlu yönde değiştirmek için yapay zekaya baktığından, iş gücünü zaman, bütçe ve maliyet açısından daha az yük ile daha fazlasını yapmaya teşvik edecek bu yapay zeka ve makine öğrenimi modellerinin güvenliğini sağlamaya yardımcı olacak adımların atılması kritik önem taşıyor. kaynaklar,” dedi Microsoft’ta AI güvenliğinden sorumlu ana program yöneticisi Ram Shankar Siva Kumar. “Güvenlik topluluğuna yapay zekadan daha güvenli bir şekilde yararlanmalarına yardımcı olmak için ihtiyaç duydukları araçları sağlamak üzere MITRE ve HuggingFace ile birlikte çalışmaktan gurur duyuyoruz.”
Araç şu anda kamuya açık bilgilere dayalı olarak sınırlı sayıda düşman profili içermektedir. Güvenlik araştırmacıları makine öğrenimi sistemlerine yönelik yeni saldırıları belgeledikçe, Microsoft ve MITRE yeni teknikler ve düşman profilleri eklemek için araçları sürekli olarak geliştirmeyi planlıyor.