Üretken yapay zeka sistemlerinin güvenliğini artırmaya yönelik önemli bir hamleyle Microsoft, PyRIT (Python Risk Tanımlama Araç Seti) adlı açık otomasyon çerçevesinin piyasaya sürüldüğünü duyurdu.
Bu yenilikçi araç seti, güvenlik profesyonellerinin ve makine öğrenimi mühendislerinin üretken yapay zeka sistemlerindeki riskleri proaktif bir şekilde belirlemesine ve azaltmasına olanak tanır.
Yapay Zeka Güvenliğinde İşbirlikçi Çaba
Microsoft, güvenlik uygulamalarında işbirlikçi çabaların ve üretken yapay zekayla ilgili sorumlulukların önemini vurguluyor. Şirket, dünya çapındaki kuruluşların en son yapay zeka teknolojileriyle sorumlu bir şekilde yenilik yapmalarını destekleyen araçlar ve kaynaklar sağlamaya kendini adamıştır.
PyRIT, Microsoft’un 2019’dan bu yana yapay zeka kırmızı ekibine devam eden yatırımlarıyla birlikte, şirketin müşteriler, iş ortakları ve daha geniş topluluk için yapay zeka güvenliğini demokratikleştirme konusundaki kararlılığının altını çiziyor.
Yapay Zeka Kırmızı Takım Oluşturmanın Evrimi
Yapay zeka kırmızı ekip oluşturma, disiplinler arası bir yaklaşım gerektiren karmaşık, çok adımlı bir süreçtir. Microsoft’un Yapay Zeka Kırmızı Ekibi, Microsoft ekosistemindeki kaynaklardan yararlanan güvenlik, rakip makine öğrenimi ve sorumlu yapay zeka konularında uzmanlardan oluşur.
Buna Microsoft Araştırma Adillik Merkezi, AETHER (Mühendislik ve Araştırmada Yapay Zeka Etiği ve Etkileri) ve Sorumlu Yapay Zeka Ofisi’nin katkıları da dahildir.
Geçtiğimiz yıl Microsoft, müşterilere sunulmadan önce çeşitli yüksek değerli üretken yapay zeka sistemlerini ve modellerini proaktif olarak yeniden bir araya getirdi.
Bu deneyim, kırmızı ekip oluşturan üretken yapay zeka sistemlerinin geleneksel yazılımlardan veya klasik yapay zeka sistemlerinden belirgin biçimde farklı olduğunu ortaya çıkardı. Güvenliği ve sorumlu yapay zeka risklerini aynı anda araştırmayı, üretken yapay zekanın olasılıksal doğasıyla ilgilenmeyi ve bu sistemlerin çeşitli mimarilerinde gezinmeyi içerir.
300.000’den fazla analist ANY.RUN’u kullanıyor, dünya çapında bir kötü amaçlı yazılım analiz sanal alanıdır. En önemli tehditlere ilişkin derinlemesine araştırmalar yürütmek ve davranışlarına ilişkin ayrıntılı raporlar toplamak için topluluğa katılın.
Ücretsiz Demo Talep Edin
PyrIT’e Giriş
PyRIT, ilk olarak Microsoft Yapay Zeka Kırmızı Ekibi tarafından 2022’de üretken yapay zeka sistemlerini kırmızı ekip oluşturmaya başladığında kullanılan bir dizi komut dosyası olarak geliştirildi. Araç seti, bu alıştırmalar sırasında belirlenen çeşitli riskleri ele alan özellikleri içerecek şekilde geliştirildi.
PyRIT artık kırmızı ekip operasyonlarının verimliliğini artıran, kötü amaçlı istemlerin ve yanıtların hızlı bir şekilde oluşturulmasına ve değerlendirilmesine olanak tanıyan güvenilir bir araçtır.
Araç seti, çeşitli üretken yapay zeka hedef formülasyonlarını ve yöntemlerini destekleyecek şekilde soyutlama ve genişletilebilirlik göz önünde bulundurularak tasarlanmıştır. PyRIT, Microsoft Azure OpenAI Hizmeti, Hugging Face ve Azure Machine Learning Yönetilen Çevrimiçi Uç Nokta modelleriyle entegre olur.
Ayrıca, klasik makine öğrenimi sınıflandırıcılarını kullanabilen veya öz değerlendirme için bir LLM uç noktasından yararlanabilen bir puanlama motoru da içerir. Ayrıca tek ve çok turlu saldırı stratejilerini de destekler.
PyRIT Bileşenleriyle İlerlemeye Devam Ediyoruz
Microsoft, sektördeki meslektaşlarını PyRIT’i keşfetmeye ve kendi üretken yapay zeka uygulamalarını kırmızı ekip oluşturmak için nasıl uyarlanabileceğini düşünmeye teşvik ediyor. Bunu kolaylaştırmak için Microsoft, demolar sağladı ve PyRIT’in yeteneklerini göstermek için Cloud Security Alliance ile ortaklaşa bir web seminerine ev sahipliği yapıyor.
| PyRIT bir web hizmeti olarak kullanılabilir veya üretken yapay zeka hedeflerini formüle etmek için uygulamalara dahil edilebilir. Metin girişleri başlangıçta desteklenmektedir ancak daha fazla yöntem eklenebilir. Microsoft Azure OpenAI Hizmeti, Hugging Face ve Azure Machine Learning Yönetilen Çevrimiçi Uç Nokta modelleri, araç seti ile sorunsuz şekilde çalışır. Bu entegrasyon, PyRIT’i tekli ve çoklu dönüş senaryolarında etkileşime girebilen çok yönlü bir AI kırmızı ekip botu haline getirir. |
| PyRIT’in veri kümesi bileşeni, güvenlik uzmanlarının sistemi test etmek için statik bir kötü amaçlı sorular koleksiyonu veya dinamik bir bilgi istemi şablonu seçmesine olanak tanır. Bu şablonlar, güvenlik ve sorumlu yapay zeka hataları da dahil olmak üzere birçok hasar kategorisinin kodlanmasına ve tüm kategorilerde otomatik zarar araştırmasına olanak tanır. PyRIT’in ilk sürümü, insanların başlamasına yardımcı olmak için popüler jailbreak’leri içeren istemler içerir. |
| PyRIT’in puanlama motoru, öz değerlendirme için standart bir makine öğrenimi sınıflandırıcısı veya bir LLM uç noktası kullanarak hedef yapay zeka sistemi çıktılarını değerlendirir. Ayrıca Azure AI İçerik filtreleri API aracılığıyla kullanılabilir. |
| Araç seti tarafından iki saldırı tekniği desteklenmektedir. AI sistemine jailbreak ve zararlı öneriler göndermek ve tepkisini derecelendirmek tek dönüşlü stratejidir. Çok dönüşlü yaklaşım, başlangıç puanına bağlı olarak yapay zeka sistemine yanıt vererek daha karmaşık ve gerçekçi düşmanca davranışlar yaratıyor. |
| PyRIT, ara giriş ve çıkış etkileşimlerini daha sonra analiz etmek için bunları hafızada saklar. Bu özellik, daha fazla çok turlu konuşma yapılmasına ve keşfedilen konuların paylaşılmasına olanak tanır. |
| Microsoft, sektördeki meslektaşlarını üretken yapay zeka çözümlerini kırmızı ekip için PyRIT kullanmaya davet ediyor. Microsoft ve Cloud Security Alliance, PyRIT’in yeteneklerini vurgulamak için bir web semineri düzenliyor. Microsoft’un yapay zeka risklerini haritalandırma, ölçme ve yönetme planı, daha güvenli, daha sorumlu bir yapay zeka ortamını teşvik ediyor. |
Bu sürüm, Microsoft’un yapay zeka risklerini haritalandırma, ölçme ve azaltma stratejisinde önemli bir adımı temsil ederek daha güvenli ve daha sorumlu bir yapay zeka ekosistemine katkıda bulunuyor.
Microsoft’un Yapay Zeka Kırmızı Ekibi ve yapay zekanın güvenliğini sağlamaya yönelik kaynaklar hakkında daha fazla bilgi edinmek için ilgili taraflar Microsoft Secure’u çevrimiçi izleyebilir ve yapay zekanın güvenli, sorumlu ve emniyetli bir şekilde kullanılmasını sağlayan ürün yenilikleri hakkında bilgi edinebilir.