Çoğu insan için, yapay zeka araçlarını günlük hayatta kullanma – hatta onlarla dalga geçme – fikri, OpenAI’den ChatGPT ve Google’dan Bard gibi bir dizi büyük teknoloji şirketi ve startup’tan yeni üretken yapay zeka araçlarının piyasaya sürülmesiyle ancak son aylarda ana akım haline geldi. . Ancak perde arkasında teknoloji, bu yeni yapay zeka sistemlerinin en iyi nasıl değerlendirilip güvence altına alınacağına ilişkin sorularla birlikte yıllardır çoğalıyor. Pazartesi günü Microsoft, 2018’den beri AI platformlarına zayıflıklarını ortaya çıkarmak için nasıl saldırılacağını bulmakla görevli olan şirket içindeki ekiple ilgili ayrıntıları açıklıyor.
Kuruluşundan bu yana geçen beş yıl içinde Microsoft’un yapay zeka kırmızı ekibi, esasen bir deneyden büyüyerek makine öğrenimi uzmanları, siber güvenlik araştırmacıları ve hatta toplum mühendislerinden oluşan disiplinler arası eksiksiz bir ekibe dönüştü. Grup, bulgularını Microsoft içinde ve teknoloji endüstrisinde geleneksel dijital güvenlik tabirini kullanarak iletmek için çalışıyor, böylece birçok kişi ve kuruluşun henüz sahip olmadığı özel yapay zeka bilgisi gerektirmek yerine fikirlere erişilebilir olacak. Ancak gerçekte ekip, yapay zeka güvenliğinin geleneksel dijital savunmadan önemli kavramsal farklılıklara sahip olduğu sonucuna varmıştır; bu, yapay zeka kırmızı ekibinin işine yaklaşımında farklılıklar gerektirir.
“Başladığımızda soru şuydu: ‘Temelde farklı olan ne yapacaksın? Microsoft’un AI kırmızı ekibinin kurucusu Ram Shankar Siva Kumar, neden bir AI kırmızı ekibine ihtiyacımız var?’ diyor. “Ancak AI red teaming’e sadece geleneksel red teaming olarak bakarsanız ve sadece güvenlik zihniyetini alırsanız, bu yeterli olmayabilir. Artık yapay zeka sistem arızalarının sorumluluğu olan sorumlu yapay zeka yönünü kabul etmeliyiz; yani saldırgan içerik üretmek, dayanaksız içerik üretmek. AI kırmızı takım oluşturmanın kutsal kâsesi budur. Sadece güvenlik başarısızlıklarına değil, aynı zamanda sorumlu yapay zeka başarısızlıklarına da bakıyor.”
Shankar Siva Kumar, bu ayrımı ortaya çıkarmanın ve AI kırmızı ekibinin misyonunun gerçekten bu ikili odağa sahip olacağını öne sürmenin zaman aldığını söylüyor. Microsoft, kar amacı gütmeyen Ar-Ge grubu MITRE ve diğer araştırmacıların ortak çalışması olan 2020 Adversarial Machine Learning Threat Matrix gibi daha geleneksel güvenlik araçlarının piyasaya sürülmesiyle ilgili ilk çalışmaların çoğu. O yıl grup, yapay zeka güvenlik testi için Microsoft Counterfit olarak bilinen açık kaynaklı otomasyon araçlarını da piyasaya sürdü. Ve 2021’de kırmızı ekip, ek bir yapay zeka güvenlik risk değerlendirme çerçevesi yayınladı.
Ancak zamanla, yapay zeka kırmızı ekibi, makine öğrenimi kusurlarını ve başarısızlıklarını ele almanın aciliyeti daha belirgin hale geldikçe gelişip genişleyebildi.
İlk operasyonlardan birinde kırmızı ekip, makine öğrenimi bileşeni olan bir Microsoft bulut dağıtım hizmetini değerlendirdi. Ekip, bulut hizmetinin diğer kullanıcılarına yönelik bir hizmet reddi saldırısı başlatmanın bir yolunu bularak, bu kullanıcıların makine öğrenimi bileşenlerini kötüye kullanmak için kötü amaçlı istekler oluşturmalarına ve bulutta kullanılan öykünmüş bilgisayar sistemleri olan sanal makineler oluşturmalarına olanak tanıyan bir kusurdan yararlandı. . Kırmızı ekip, sanal makineleri kilit konumlara dikkatlice yerleştirerek, diğer bulut kullanıcılarına yönelik “gürültülü komşu” saldırıları başlatabilir; burada bir müşterinin etkinliği, başka bir müşterinin performansını olumsuz etkiler.