Yapay zeka (AI) modellerini risk için analiz eden, gelişmekte olan ücretsiz bir araç, yapay zeka tedarik zinciri risklerinin üstesinden gelmek için siber güvenlik ekiplerinin araç kutularının ana akım bir parçası haline gelme yolunu belirledi. oluşturuldu geçen mart bRobust Intelligence’daki AI risk uzmanları tarafından, AI Risk Veritabanı yeni özelliklerle geliştirildi ve bugün MITRE ve Indiana University ile kuruluşların veritabanının besleme yeteneğini geliştirmek için birlikte çalışmasını sağlayacak yeni ortaklık anlaşmalarıyla bağlantılı olarak GitHub’da açık kaynaklı hale getirildi. otomatik AI değerlendirme araçları.
Robust Intelligence’ın seçkin makine öğrenimi mühendisi ve veritabanının ortak yaratıcısı Hyrum Anderson, “Bunun AI için VirusTotal olmasını istiyoruz” diyor.
Veritabanının, güvenlik topluluğunun genel makine öğrenimi (ML) modellerinde gizlenen güvenlik açıkları hakkındaki bilgileri keşfetmesine ve bildirmesine yardımcı olması amaçlandığını söylüyor. Veri tabanı, kırılganlığa, etik sorunlara ve yapay zeka yanlılığına neden olabilecek sorunlar da dahil olmak üzere yapay zeka sistemlerinin güvenilirliğini ve dayanıklılığını tehdit eden bu modellerdeki diğer faktörleri de izler.
Anderson’ın açıkladığı gibi, araç, yapay zeka sistemleri dünyasında başgösteren bir tedarik zinciri sorununa dönüşen sorunla başa çıkmak için geliştiriliyor. Yazılım tedarik zincirinin diğer birçok parçasında olduğu gibi, AI sistemleri de kodlarını çalıştırmak için bir dizi açık kaynak bileşenine bağlıdır. Ancak bu karışıma, verileri eğitmek için kullanılan açık kaynak makine öğrenimi modellerine ve açık kaynak veri kümelerine bağımlılıkların ek karmaşıklığı eklenir.
Anderson, “Herkes modelleri yeniden kullanıyor” diyor.
Modellerin yeniden kullanılması, işbirliğine dayalı yeniliği hızlandırmak için çok şey yaptı, ancak bu, tek bir modeldeki bir kusurun etkisinin geniş bir yapay zeka sistemi yelpazesinde dalgalanabileceği ve yankılanabileceği anlamına geliyor.
“AI tedarik zinciri güvenliği çok büyük bir sorun olacak kod, modeller ve veriler için,” diyor Anderson.
Bugünkü sürümün bir parçası olarak AI Risk Veritabanı, Indiana Üniversitesi Kelley İşletme Okulu Veri Bilimi ve Yapay Zeka Laboratuvarı’ndaki (DSAIL) araştırmacılar tarafından oluşturulan yeni bir bağımlılık grafiği özelliği içeriyor. Bu özellik, teslim edilen model yapıtının yukarı akışında var olan genel olarak bildirilen kusurları bulmak için modeller oluşturmak için kullanılan GitHub depolarını taramayı mümkün kılacak.
Bu arada, MITRE ile ortaklık, AI Risk Veritabanını MITRE ATLAS çerçevesine daha yakından bağlayarak güçlendiren güvenlik açığı araştırmasını, sınıflandırmasını ve risk puanlamasını destekleyecektir. Veritabanı ayrıca daha geniş bir açık kaynak MITRE ATLAS kümesi altında barındırılacak şekilde ayarlanmıştır. (Yapay Zeka Sistemleri için Düşman Tehdit Görünümü) aletler. MITRE, gerçek dünya saldırı gözlemlerine ve yapay zeka kırmızı takım oluşturmaya dayalı düşman taktikleri ve tekniklerinin bir listesini içeren bir çerçeve ve bilgi tabanı olan ATLAS ile yapay zekaya yönelik tehditleri ve riskleri belirleme sorumluluğunu yönetiyor.
MITRE mühendislik ve prototiplemeden sorumlu başkan yardımcısı Douglas Robbins, “Yapay Zeka Risk Veritabanının bu iş birliği ve sürümü, daha fazla kuruluşun belirli yapay zeka özellikli sistem türlerini devreye alırken nasıl doğrudan risk altında ve savunmasız olduklarını doğrudan görmelerini sağlayabilir” dedi. Bir açıklamada. “MITRE ATLAS kapsamındaki en yeni açık kaynak aracı olan bu yetenek, dünya çapındaki kuruluşlar için risk değerlendirmesi ve azaltma öncelikleri hakkında bilgi vermeye devam edecek.”
Duyurunun bir parçası olarak, Robust Intelligence, MITRE ve Indiana University’den işbirlikçi ekip, bu hafta Black Hat Arsenal’de yeni geliştirilmiş AI Risk Veritabanının tanıtımını yapacak. Anderson’a MITRE ATLAS’ın lideri ve MITRE’nin Yapay Zeka ve Özerklik İnovasyon Merkezi’nin Yapay Zeka stratejisi yürütme ve operasyonlar yöneticisi Christina Liaghati’nin yanı sıra Kelley’nin Indiana Üniversitesi’ndeki DSAIL’in yöneticisi Sagar Samtani, veritabanının bu süreçte neler yapabileceğini göstermek için katılacak. oturumları bugün ve yarın Black Hat USA’da.