Üretken yapay zekada risk tanımlama için yeni bir Python otomasyon çerçevesi yayınlandı.
Bu yeni çerçeveye “PyRIT” adı verildi ve güvenlik profesyonellerinin ve makine öğrenimi mühendislerinin üretken yapay zeka sistemlerinde riskleri bulmasına yardımcı olabilir.
Microsoft, yüksek değerli üretken yapay zeka sistemlerini ve modellerini proaktif bir şekilde kırmızı ekip olarak oluşturduklarını ve bunun kırmızı ekipli klasik yapay zeka sistemlerinden veya geleneksel yazılımlardan farklı olduğunu kanıtladı.
Öne Çıkan Üç Avantaj
Paylaşılan raporlara göre üç ana neden, kırmızı ekip oluşturan üretken yapay zeka sistemlerinin diğer klasik yapay zeka sistemleri veya geleneksel yazılımlarla karşılaştırıldığında oldukça karmaşık olduğunu kanıtlıyor.
- Hem Güvenlik hem de sorumlu yapay zeka risklerini aynı anda araştırıyoruz.
- Üretken yapay zeka, geleneksel kırmızı takım çalışmasına göre daha Olasılıksaldır.
- Üretken yapay zeka sistemlerinin mimarisi büyük ölçüde değişiklik gösterir.
Hem Güvenlik Hem de Sorumlu Yapay Zeka Risklerini Eşzamanlı Olarak Araştırmak
Okuma ekibi oluşturma sırasında, Geleneksel yazılım temel olarak güvenlik hatalarını belirlemeye odaklanırken, üretken yapay zeka sistemleri aynı anda hem güvenlik risklerine hem de sorumlu yapay zeka risklerine odaklanır.
Canlı saldırı simülasyonu Web Semineri, hesap ele geçirmenin çeşitli yollarını gösterir ve web sitelerinizi ve API’lerinizi ATO saldırılarına karşı korumaya yönelik uygulamaları gösterir.
Yerinizi Ayırın
Bu, adil sorun içeriği oluşturmaktan asılsız veya hatalı içeriğe kadar geniş bir yelpazede değişebilir.
.webp)
Üretken Yapay Zeka, Geleneksel Kırmızı Takım Oluşturmadan Daha Olasılığa Dayalı
Geleneksel yazılım kırmızı takım oluşturmada, aynı saldırıyı birden çok kez kullanmak büyük olasılıkla aynı sonucu verecektir.
Oysa üretken yapay zeka sistemlerinde, üretken yapay zeka modellerinin farklı genişletilebilirlik eklentileriyle çalışabilmesi nedeniyle aynı girdi farklı çıktılar üretebilir.
Geleneksel yazılım sistemleri, kırmızı ekip oluşturma sırasında araçlar kullanılarak incelenebilecek iyi tanımlanmış API’lere ve parametrelere sahip olacaktır.
Ancak üretken yapay zeka sistemleri, temel unsurların olasılıksal doğasını dikkate alması gereken bir strateji gerektirecektir.
Üretken Yapay Zeka Sistemleri Mimarisi Çok Çeşitlilik Gösteriyor
Bağımsız uygulamalardan mevcut uygulamalardaki entegrasyonlara kadar bu üretken yapay zeka sistemlerinin mimarisi büyük ölçüde farklılık gösterir.
Bu aynı zamanda metin, ses, resimler ve videolar gibi giriş ve çıkış yöntemlerini de içerir.
Bu nedenler, üretken yapay zeka sistemlerinin kırmızı ekip oluşturması söz konusu olduğunda, uygulamanın bir yönteminde yalnızca bir tür rusk bulmanın, potansiyel başarısızlıklara ilişkin kanıt toplayabilecek farklı stratejileri birden çok kez gerektirdiği sonucuna varıyor.
.webp)
Üstelik bunu tüm yöntemlerde farklı stratejilerle yapmak zaman alıcı ve yavaş olabilir, bu da otomasyon yardımı gerektirir.
Microsoft, PyRIT’in zamanla eklenen çeşitli özelliklerle savaşta test edildiğini belirtti.
“PyRIT, hızlı bir oluşturma aracından daha fazlasıdır; üretken yapay zeka sisteminden gelen yanıta göre taktiklerini değiştirir ve üretken yapay zeka sistemine bir sonraki girdiyi oluşturur”PyRIT ile ilgili Microsoft gönderisini okuyor.
PyrIT’in Bileşenleri
PyRIT’teki beş ana bileşen, yeteneklerinin genişletilmesine ve uyarlanmasına yardımcı olur. Bunlar
- Hedefler: Çeşitli üretken AI hedef formülasyonlarını destekler.
- Veri kümeleri: Statik bir kötü amaçlı istem seti veya dinamik bir bilgi istemi şablonu olabilecek, incelenecek girişi kodlamak için kullanılır.
- Genişletilebilir puanlama motoru: Çıktıları puanlamak için iki seçenek sunar: klasik bir makine öğrenimi sınıflandırıcısı ve öz değerlendirme için bir LLM uç noktası.
- Genişletilebilir Saldırı Stratejisi: İki saldırı stratejisi stilini destekler; Jailbreak’lerin ve zararlı istemlerin bir kombinasyonunu göndererek bunları puanlayın; buna tek dönüşlü strateji ve ayrıca puana dayalı olarak yapay zeka sistemine yanıt veren çok dönüşlü strateji denir.
- Hafıza: PyRIT aracısı tarafından keşfedilen konuşmaları paylaşma yeteneği ve derinlemesine analiz yeteneği sağlar
.webp)
Truva atları, fidye yazılımları, casus yazılımlar, rootkitler, solucanlar ve sıfır gün açıklarından yararlanmalar dahil olmak üzere kötü amaçlı yazılımları engelleyebilirsiniz. Perimeter81 kötü amaçlı yazılım koruması. Hepsi son derece zararlıdır, hasara yol açabilir ve ağınıza zarar verebilir.
Siber Güvenlik haberleri, Teknik İncelemeler ve İnfografiklerden haberdar olun. Bizi LinkedIn’de takip edin & heyecan.