MITRE ve Microsoft, güvenlik profesyonellerinin, yapay zeka geliştiricilerinin ve yapay zeka operatörlerinin yapay zeka özellikli sistemleri korurken kullanabilecekleri bir topluluk bilgi tabanı olan MITRE ATLAS’a veri odaklı, üretken bir yapay zeka odağı ekledi.
Bu yeni çerçeve güncellemesi ve ilgili yeni vaka çalışmaları, ChatGPT ve Bard gibi üretken yapay zeka ve LLM’yi içeren sistemlerin benzersiz güvenlik açıklarını doğrudan ele alıyor.
Yapay Zeka Sistemleri için Olumsuz Tehdit Ortamı anlamına gelen MITRE ATLAS’a yönelik güncellemeler, tüketicilerin ve kuruluşların hızla benimsediği LLM özellikli sistemlerde hızla artan saldırı yollarının sayısını ve türünü gerçekçi bir şekilde tanımlamayı amaçlamaktadır. Gerçekçi yapay zeka destekli sistem saldırı yollarının bu tür karakterizasyonları, sağlık hizmetleri, finans ve ulaşım da dahil olmak üzere çeşitli yapay zeka uygulamalarında kötü niyetli saldırılara karşı savunmayı güçlendirmek için kullanılabilir.
MITRE Yapay Zeka ve Özerklik İnovasyon Merkezi Genel Müdürü Özgür Eriş, “Birçok kişi, büyük dil modelleri de dahil olmak üzere yalnızca siber güvenliğin ötesinde yapay zeka destekli sistemlerin güvenliği konusunda endişe duyuyor” dedi. “Microsoft ve diğerleriyle olan işbirliği çabalarımız, ATLAS’ın ülke için bir kaynak olarak ilerletilmesi açısından kritik öneme sahiptir.”
“Microsoft ve MITRE, 2020’de yapay zeka sistemlerine yönelik saldırıları tablolaştırmak için ATLAS çerçevesinin ilk sürümünü başlatmak üzere ATLAS topluluğuyla birlikte çalıştı ve o zamandan beri, güvenlik profesyonellerinin bu sürekli değişen durumu anlamlandırması fiili Rosetta Stone haline geldi. Yapay zeka güvenlik alanı,” dedi Microsoft veri kovboyu Ram Shankar Siva Kumar. “Daha fazla LLM saldırısı ve örnek olay incelemesi içeren günümüzün en son ATLAS gelişimi, çerçevenin inanılmaz uygunluğunu ve faydasını vurguluyor.”
MITRE ATLAS, gerçek dünyadaki saldırı gözlemlerine ve AI kırmızı ekiplerinin ve güvenlik gruplarının gerçekçi gösterilerine dayanan, düşman taktikleri ve tekniklerini içeren, küresel olarak erişilebilen, canlı bir bilgi tabanıdır. ATLAS projesi 100’den fazla hükümet, akademik ve endüstri kuruluşuyla küresel işbirliğini içermektedir.
Bu işbirliği şemsiyesi altında, MITRE ve Microsoft, AI destekli sistemlerimizin güvenliğini artırmak için çalışırken, ATLAS’ı genişletmek ve endüstri, hükümet ve akademinin olanaklarını sağlayacak çerçeveye dayalı araçlar geliştirmek için birlikte çalıştı.
Bu yeni ATLAS taktikleri ve teknikleri, kullanıcıların veya güvenlik araştırmacılarının 2023’te meydana geldiğini keşfettiği olaylardan elde edilen vaka çalışmalarına dayanmaktadır:
- ChatGPT eklentisi gizlilik sızıntısı: ChatGPT’de, bir saldırganın sohbet oturumunun kontrolünü ele geçirmek ve konuşma geçmişini sızdırmak için ChatGPT eklentileri aracılığıyla kötü amaçlı web sitelerini besleyebildiği dolaylı istem enjeksiyonu güvenlik açığı ortaya çıkarıldı.
- PoisonGPT: Yanlış gerçekleri döndürmek için önceden eğitilmiş bir LLM’nin nasıl başarılı bir şekilde değiştirileceğini gösterdi. Bu gösterinin bir parçası olarak, zehirlenen model, LLM’nin tedarik zincirine yol açan sonuçları göstermek için halka açık en büyük model merkezine yüklendi. Sonuç olarak, zehirli modeli indiren kullanıcılar yanlış bilgi alma ve yayma riskiyle karşı karşıya kaldı.
- MathGPT kod yürütme: Matematik sorularını yanıtlamak için GPT-3’ü kullanan MathGPT’de, enjeksiyon saldırılarını tetikleyen ve bir aktörün ana sistemin ortam değişkenlerine ve uygulamanın GPT-3 API anahtarına erişmesine olanak tanıyan bir güvenlik açığı açığa çıkarıldı. Bu, kötü niyetli bir kişinin MathGPT’nin GPT hesabını kendi kullanımı için ücretlendirmesine, mali zarara neden olmasına veya MathGPT’nin performansına ve itibarına zarar verebilecek bir hizmet reddi saldırısına neden olmasına olanak sağlayabilir. Açıklamanın ardından güvenlik açıkları azaltıldı.
Endüstri, hükümet, akademi ve diğer güvenlik araştırmacılarından oluşan daha geniş ATLAS topluluğu da bu yeni taktik ve teknikleri şekillendirmek ve bilgilendirmek için geri bildirim sağladı.
ATLAS topluluğu işbirliği artık topluluğun gerçek hayatta gözlemlenen gerçek dünya saldırıları ve güvenlik açıklarından oluşan anonimleştirilmiş veri kümesini büyütmeye devam etmek için olay ve güvenlik açığı paylaşımına odaklanacak. Olay ve güvenlik açığı paylaşımı çalışması, yapay zeka eşitliği, yorumlanabilirliği, güvenilirliği, sağlamlığı, güvenliği ve gizliliğin geliştirilmesi de dahil olmak üzere daha geniş yapay zeka güvence alanındaki olayları kapsayacak şekilde genişletildi.
ATLAS topluluğu ayrıca halka açık olan ATLAS GitHub sayfası ve Slack kanalı aracılığıyla yapay zeka malzeme listesi (BOM) ve model imzalama dahil olmak üzere tedarik zinciri sorunlarının ele alınmasına ilişkin bilgileri ve en iyi kaynak uygulamalarını paylaşıyor.
Topluluk, mevcut yapay zeka tedarik zinciri risk azaltma uygulamaları ve tekniklerinin daha iyi uyumlu hale getirilebilmesi amacıyla kuruluşlarında şu anda neyin işe yaradığını paylaşmak için Slack ve GitHub forumlarını kullanacak.