Akıllıca kullanan bir solucan hızlı mühendislik ve enjeksiyon ChatGPT gibi üretken yapay zeka (GenAI) uygulamalarını kötü amaçlı yazılım ve daha fazlasını yaymak için kandırabilir.
Üç İsrailli araştırmacı, laboratuvar ortamında bir saldırganın üretken bir modeli girdiyi çıktı olarak kopyalamaya ikna edecek “düşmanca kendini kopyalayan istemleri” nasıl tasarlayabileceğini gösterdi; eğer kötü niyetli bir istem gelirse, model geri dönecek ve onu geri itecektir. daha fazla AI ajanına yayılmasına izin veriyor. İstemler bilgi çalmak, spam yaymak, modelleri zehirlemek ve daha fazlası için kullanılabilir.
Ona “Morris II” adını verdiler. 1988'de tüm İnternet'in onda birini yok eden, kendi kendine yayılan 99 satırlık meşhur kötü amaçlı yazılımdan sonra.
“ComPromptMized” Yapay Zeka Uygulamaları
Kendi kendini kopyalayan AI kötü amaçlı yazılımlarının nasıl çalışabileceğini göstermek için araştırmacılar, üretken AI kullanarak e-posta alıp gönderebilen bir e-posta sistemi oluşturdular.
Daha sonra kırmızı ekip olarak, alıcı e-posta asistanının veritabanını kirletmek için yapay zeka modellerinin güvenilir harici verileri almak için kullandığı bir yöntem olan alma artırılmış nesilden (RAG) yararlanan, hızlı bir e-posta yazdılar. E-posta RAG tarafından alınıp gen AI modeline gönderildiğinde, onu jailbreak yaparonu hassas verileri dışarı çıkarmaya ve girdisini çıktı olarak kopyalamaya zorluyor, böylece aynı talimatları hattın aşağısındaki diğer ana bilgisayarlara aktarıyor.
Araştırmacılar ayrıca düşmanca bir ipucunun nasıl olabileceğini de gösterdi. bir görüntüde kodlanmış benzer bir etki yaratarak e-posta asistanını zehirli görüntüyü yeni ana bilgisayarlara iletmeye zorlar. Bir saldırgan, bu yöntemlerin herhangi birini kullanarak, sürekli bir yapay zeka entegreli sistem zinciri aracılığıyla spam, propaganda, kötü amaçlı yazılım yükleri ve diğer kötü amaçlı talimatları otomatik olarak yayabilir.
Yeni Kötü Amaçlı Yazılım, Eski Sorun
Günümüzün yapay zeka modellerine yönelik en gelişmiş tehditlerinin çoğu, bilgi işlemdeki en eski güvenlik sorunlarının yalnızca yeni versiyonlarıdır.
“Bunları varoluşsal tehditler olarak görmek cazip gelse de, bunlar tehdit açısından SQL enjeksiyonu ve kullanımından farklı değildir. benzer enjeksiyon saldırılarıSynopsys veri bilimi kıdemli Ar-Ge yöneticisi Andrew Bolster, “kötü niyetli kullanıcıların sözde arındırılmış bir girişe ek komutlar veya sorgular eklemek için metin giriş alanlarını kötüye kullandığı yer” diyor. Araştırmanın belirttiği gibi, bu 35 yıllık bir fikir hala bacakları var (aslında daha eski; modern bilgisayar teorisinin babası John Von Neumann 50'li ve 60'lı yıllarda bunun üzerine teoriler geliştirmişti).
Otuz yıl önce Morris solucanı romanını kendi zamanında yapan şeylerden biri, veri alanını bilgisayarın kontrolleri uygulayan kısmına nasıl atlayacağını, böylece Cornell mezunu bir öğrencinin sıradan bir kullanıcının sınırlarından kaçmasını sağlamasıydı. ve hedeflenen bilgisayarın yaptıklarını etkileyebilir.
“Bilgisayarlar var olduğundan beri, bilgisayar mimarisinin çekirdeği, veri alanı ile kontrol alanı arasındaki kavramsal örtüşme olmuştur; kontrol alanı, takip ettiğiniz program talimatlarıdır ve daha sonra ideal olarak bir düzende olan verilere sahiptir. Kontrollü alan” diye açıklıyor Bolster.
Bugünün akıllı bilgisayar korsanları GenAI istemlerini büyük ölçüde aynı etkiyi sağlayacak şekilde kullanıyor. Ve böylece, tıpkı kendilerinden önceki yazılım geliştiricileri gibi, savunma amacıyla, yapay zeka geliştiricileri de programlarının kullanıcı girdisini makine çıktısıyla karıştırmamasını sağlayacak bir yola ihtiyaç duyacak. Geliştiriciler bu sorumluluğun bir kısmını API kurallarına devredebilir ancak daha derin bir çözüm, gen yapay zeka modellerinin kendilerini oluşturan parçalara bölünmesini içerebilir. Bu şekilde veri ve kontrol aynı büyük evde yan yana yaşamaz.
Bolster, “Gerçekten şu konu üzerinde çalışmaya başlıyoruz: Her şeyin tek kutuda olduğu yaklaşımından, daha fazla dağıtılmış çoklu aracı yaklaşımına nasıl geçebiliriz?” diyor. “Gerçekten gözlerinizi kısarak bakmak istiyorsanız, bu, mikro hizmet mimarisinin büyük bir yekpare yapıdan değişimine benzer. Bir hizmet mimarisindeki her şeyle birlikte, farklı hizmetler arasına ve çevresine çalışma zamanı içerik ağ geçitleri yerleştirebilirsiniz. Böylece, bir sistem operatörü olarak şunu sorabilirsiniz: 'E-posta aracım neden resimlere benzer şeyler ifade ediyor?' ve kısıtlamalar koyun.”