Python Risk Tanımlama Aracı (PyRIT), Microsoft'un güvenlik profesyonellerinin ve makine öğrenimi mühendislerinin üretken yapay zeka sistemlerindeki riskleri bulmasına olanak tanıyan açık kaynaklı otomasyon çerçevesidir.
PyRIT, Microsoft'un AI kırmızı ekibi tarafından savaşta test edilmiştir. Bu, ekibin 2022'de kırmızı ekip oluşturma üretken yapay zeka sistemlerine ilk girişimi sırasında kullanılan bireysel komut dosyalarının bir koleksiyonu olarak başladı. Çeşitli üretken yapay zeka sistemleriyle etkileşime girdikçe ve farklı riskleri araştırdıkça, faydalı gördükleri yeni özellikleri dahil ettiler.
Araç, üretken yapay zeka sistemlerinin manuel kırmızı ekip oluşturma işleminin yerine geçmemelidir. Bunun yerine, daha sıradan görevleri otomatikleştirerek bir AI kırmızı ekibinin mevcut alan uzmanlığını geliştirir. PyRIT, potansiyel risk alanlarının belirlenmesine yardımcı olarak güvenlik profesyonellerinin bu kritik noktaları tam olarak incelemesine olanak tanır.
“Şu ana kadar PyRIT kullanarak bulduğumuz en büyük avantaj verimlilik kazancımızdır. Örneğin, Copilot sistemindeki kırmızı takım oluşturma çalışmalarımızdan birinde, bir zarar kategorisi seçebildik, birkaç bin kötü niyetli istem oluşturabildik ve PyRIT'in puanlama motorunu kullanarak Copilot sisteminden gelen çıktıyı saatler içinde değerlendirebildik. haftalarca,” diye yazdı Microsoft AI Kırmızı Takım Lideri Ram Shankar Siva Kumar.
PyRIT, araştırmacıların çeşitli zararlara karşı savunmalarını iyileştirmelerine ve geliştirmelerine olanak tanır. Örneğin Microsoft, anlık enjeksiyon saldırılarına karşı koruma sağlamak amacıyla farklı ürün sürümlerini (ve bununla ilişkili meta istemleri) yinelemek için bu aracı kullanır.
PyRIT, yalnızca bilgi istemleri oluşturmaya yönelik bir aracın ötesine geçer. Stratejisini üretken yapay zeka sisteminden gelen geri bildirimlere göre uyarlıyor ve yapay zeka sistemi için sonraki girdileri yaratıyor. Bu otomasyon süreci, güvenlik uzmanı hedeflenen hedefe ulaşana kadar devam eder.
“PyRIT, yapay zeka güvenliği konusunda deneyimli olanlar için ideal olup, süreçlerini geliştirmek ve ölçeklendirmek için sağlam bir platform sunuyor. Ancak yeni başlayanlar veya orta düzey kullanıcılar onu aşırı karmaşık bulabilir ve yeteneklerinden tam olarak yararlanamayabilir. Bu yaklaşımın önemli faydası, bir modelin yanıtlarından türetilen yeni saldırı stratejileri oluşturmaya yönelik yenilikçi şablonunda yatmaktadır. Bu, çoklu istem saldırılarının yürütülmesini sağlar. İyi tasarlanmış saldırı şablonları ve yeni saldırıları entegre etme mekanizması, etkinliğini artırır. Adversa AI CEO'su Alex Polyakov, Help Net Security'ye yaptığı açıklamada, saldırıların ve yanıtların geçmişini kataloglayacak bir veritabanının da dahil edilmesinin dikkate değer bir özellik olduğunu söyledi.
“GenAI'nin kırmızı ekip çalışması önemlidir çünkü şirketler, yapay zeka sistemlerinin kötü aktörler tarafından manipüle edilmesini, şirkete zarar verecek eylemlerde bulunmasını veya söylemesini istemezler. PyRIT birçok insanın uğraştığı bir sorunu çözüyor. Bant genişliğine sahip ekiplerin yeni bir çerçeve öğrenmesi ve kurması çok yararlı olacaktır. Bu, kırmızı ekip görevlileri tarafından yapılan manuel testlerin yerini almaz. Yine de bu, bazı testleri otomatikleştirmenin bir yoludur, böylece güvenlik ve fayda dengesini bulmak için istemleri ve diğer yapılandırmaları hızlı bir şekilde yineleyebilirsiniz,” dedi AppOmni'nin baş yapay zeka mühendisi ve güvenlik araştırmacısı Joseph Thacker.
PyRIT, GitHub'da ücretsiz olarak mevcuttur.
Okumalısınız: Keşke daha önce bilseydim diyeceğiniz 15 açık kaynaklı siber güvenlik aracı
Göz önünde bulundurulması gereken daha fazla açık kaynak araç: