Üretken yapay zeka (GenAI), ekiplerin daha hızlı yenilik yapmasına, mevcut iş akışlarını otomatikleştirmesine ve işe gidiş şeklimizi yeniden düşünmesine olanak tanıyan önemli bir değişim yaratıcısı olarak ortaya çıktı. Bugün, birden fazla Şirketlerin %55’i şu anda GenAI çözümlerini pilot olarak kullanıyor veya aktif olarak kullanıyor.
Ancak tüm vaatlerine rağmen GenAI aynı zamanda önemli bir risk faktörünü de temsil ediyor. bir ISMG anketi İş dünyası ve siber güvenlik profesyonellerinin katılımıyla yapılan ankette katılımcılar, veri güvenliği veya hassas verilerin sızması, mahremiyet, halüsinasyonlar, kötüye kullanım ve sahtekarlık ve model veya çıktı yanlılığı da dahil olmak üzere GenAI uygulamasıyla ilgili bir dizi endişe belirlediler.
GenAI kullanımıyla ilgili ek güvenlik önlemleri oluşturmak isteyen kuruluşlar için kırmızı ekip oluşturma, GenAI sistemlerindeki riskleri proaktif olarak ortaya çıkarmak için uygulayabilecekleri bir stratejidir. İşte nasıl çalışıyor?
GenAI’yi Kırmızı Ekip Oluştururken Dikkat Edilmesi Gereken Benzersiz Hususlar
GenAI kırmızı takım çalışması kırmızı ekip oluşturma klasik yapay zeka sistemlerinden veya geleneksel yazılımlardan önemli ölçüde farklı olan karmaşık, çok adımlı bir süreçtir.
Yeni başlayanlar için, geleneksel yazılım veya klasik AI kırmızı ekip oluşturma öncelikli olarak güvenlik hatalarını belirlemeye odaklanırken, GenAI kırmızı ekip oluşturma sorumlu AI risklerini hesaba katmalıdır. Bu riskler, adalet sorunları içeren içeriklerin üretilmesinden asılsız veya yanlış bilgilerin üretilmesine kadar geniş bir yelpazede değişiklik gösterebilir. GenAI kırmızı ekibinin potansiyel güvenlik risklerini ve sorumlu AI hatalarını aynı anda keşfetmesi gerekiyor.
Ek olarak, GenAI kırmızı takım çalışması geleneksel kırmızı takım çalışmasına göre daha olasılığa dayalıdır. Geleneksel yazılım sistemlerinde aynı saldırı yolunu birden çok kez yürütmek muhtemelen benzer sonuçlar verecektir.
Bununla birlikte, birden fazla belirlenimsizlik katmanı nedeniyle GenAI, aynı girdi için farklı çıktılar sağlayabilir. Bu, uygulamaya özgü mantık veya GenAI modelinin kendisinden kaynaklanabilir. Bazen sistemin çıktısını kontrol eden orkestratör farklı genişletilebilirlik veya eklentileri bile devreye sokabilir. İyi tanımlanmış API’lere ve parametrelere sahip geleneksel yazılım sistemlerinden farklı olarak kırmızı ekipler, teknolojiyi değerlendirirken GenAI sistemlerinin olasılıksal doğasını hesaba katmalıdır.
Son olarak, sistem mimarileri farklı GenAI araçları türleri arasında büyük farklılıklar gösterir. Ekiplerin dikkate alması gereken bağımsız uygulamalar, mevcut uygulamalarla entegrasyonlar ve metin, ses, görüntüler ve videolar gibi giriş ve çıkış yöntemleri vardır.
Bu farklı sistem mimarileri, kırmızı ekip incelemesinin manuel olarak gerçekleştirilmesini inanılmaz derecede zorlaştırıyor. Örneğin, tarayıcı tarafından barındırılan bir sohbet arayüzünde şiddet içerikli içerik oluşturma risklerini ortaya çıkarmak için kırmızı ekiplerin, potansiyel başarısızlıklara ilişkin yeterli kanıt toplamak amacıyla farklı stratejileri birden çok kez denemesi gerekecektir. Bunu her türlü zarar için, tüm yöntem ve stratejilerde manuel olarak yapmak, son derece sıkıcı ve yavaş olabilir.
GenAI Kırmızı Takım Oluşturma için En İyi Uygulamalar
Manuel kırmızı ekip oluşturma, zaman alıcı, emek yoğun bir süreç olsa da, aynı zamanda potansiyel kör noktaları belirlemenin en etkili yollarından biridir. Kırmızı ekipler ayrıca, özellikle rutin görevlerin otomatikleştirilmesi ve daha fazla dikkat gerektiren potansiyel olarak riskli alanların belirlenmesine yardımcı olmak söz konusu olduğunda, otomasyon yoluyla incelemenin belirli yönlerini ölçeklendirebilir.
Microsoft olarak, olarak bilinen açık bir otomasyon çerçevesi kullanıyoruz. Üretken yapay zeka için Python Risk Tanımlama Aracı (PyRIT) — kırmızı takım GenAI sistemlerine. Manuel GenAI kırmızı ekibinin yerini alması amaçlanmamıştır ancak kırmızı ekip üyelerinin mevcut alan uzmanlığını artırabilir, sıkıcı görevleri otomatikleştirebilir ve potansiyel riskler için sıcak noktaları belirleyerek yeni verimlilik kazanımları yaratabilir. Bu, güvenlik profesyonellerinin GenAI kırmızı ekip stratejilerini ve uygulamalarını kontrol etmelerine olanak tanırken PyRIT, güvenlik uzmanı tarafından sağlanan zararlı istemlerin ilk veri kümesine dayalı olarak potansiyel olarak zararlı istemler oluşturmak için otomasyon kodunu sağlar. PyRIT ayrıca GenAI sisteminin tepkisine göre taktikleri değiştirebilir ve bir sonraki girdiyi oluşturabilir.
Kullandığınız yöntem ne olursa olsun, PyRIT gibi GenAI kırmızı ekip kaynaklarının sektör genelinde paylaşılması tüm tekneleri yükseltir. Kırmızı ekip oluşturma, proaktif GenAI güvenliğinin önemli bir parçasıdır ve kırmızı ekip üyelerinin yapay zeka risklerini haritalandırmasına, belirlenen riskleri ölçmesine ve etkilerini en aza indirmek için kapsamlı azaltımlar oluşturmasına olanak tanır. Bu da kuruluşlara, en son yapay zeka gelişmeleriyle sorumlu bir şekilde yenilik yapmaları için ihtiyaç duydukları güveni ve güvenliği sağlar.
– Devamını oku Microsoft Security’den İş Ortağı Perspektifleri