Yapay Zeka ve Makine Öğrenimi, E-posta Tehdit Koruması, Finans ve Bankacılık
Araştırmacılar Verileri Sızdırabilen, Spam Yayabilen ve Yapay Zeka Modellerini Zehirleyebilen Solucan Yarattı
Rashmi Ramesh (raşmiramesh_) •
5 Mart 2024
E-posta ve sohbet gibi işbirliği yazılımlarının geliştiricileri, geçtiğimiz yıl, yeni ortaya çıkan üretken yapay zeka teknolojisini ürünlerine dahil etmek için çabalıyordu. Bu yarışın kazananları, kullanıcı deneyimini dönüştürmek için ortak ofis araçlarını yapay zeka asistanlarına sorunsuz bir şekilde bağlamayı umuyor.
Ayrıca bakınız: İsteğe Bağlı | Bankacılıkta İçeriden Gelen Tehditlerle Mücadelenin Sınırlamalarını Aşmak: Gerçek Güvenlik Sorunlarına Gerçek Çözümler
Ancak güvenlik araştırmacıları sektöre dikkatli olması için bir neden daha verdi. Yapay zeka destekli sohbet robotları kullanan uygulamalar aracılığıyla kişisel verileri çalabilen, sıfır tıklamayla kendi kendine yayılan bir solucan yarattılar.
1988'de internetin büyük bir kısmını ele geçiren yıkıcı bilgisayar solucanına selam olarak Morris II olarak adlandırılan, kendi kendini kopyalayan yeni kötü amaçlı yazılım, ChatGPT gibi sohbet robotlarını içeren üretken yapay zeka destekli e-posta asistanı uygulamalarını kandırmak için hızlı bir enjeksiyon saldırı vektörü kullanıyor ve İkizler. Cornell Üniversitesi, Technion-İsrail Teknoloji Enstitüsü ve Intuit'ten araştırmacılara göre bu, bilgisayar korsanlarının kişisel bilgileri çalmak, spam kampanyaları başlatmak ve yapay zeka modellerini zehirlemek için kurbanların e-postalarına sızmasına olanak tanıyor.
Kurbanların kötü amaçlı etkinliği tetiklemek için herhangi bir şeye tıklaması gerekmez: Solucan, kötü amaçlı yazılımı insan müdahalesi olmadan otomatik olarak yayacak şekilde tasarlanmıştır. Bilgisayar korsanları, üretken bir modeli girdiyi çıktı olarak kopyalamaya ikna edebilecek “kendini kopyalayan muhalif istemler” tasarlamak için solucanı kullanabilir. Örneğin, yapay zeka modeli kötü niyetli bir istem alırsa, bunu çıktısında kopyalayacak ve onunla arayüz oluşturan uygulamalara daha da yayacaktır.
Araştırmacılar, “Çalışma, saldırganların, gen yapay zeka modelleri tarafından işlendiğinde, modelin girdiyi çıktı olarak kopyalamasını (çoğaltma) ve kötü amaçlı faaliyetlere (yük) katılmasını sağlayan bu tür istemleri girdilere ekleyebileceğini gösteriyor” dedi.
Morris II, görevleri sürekli ve otomatik olarak gerçekleştirmek için birbirleriyle etkileşime giren, üretken yapay zeka destekli aracılardan oluşan birbirine bağlı ağlardan oluşan mevcut ekosistemi hedefliyor. Şirketler, karmaşık girdileri yorumlayıp gerçekleştirebilen bir “akıllı aracı” oluşturmak amacıyla yapay zeka yeteneklerini mevcut uygulamalarına entegre edebilir ve bunları uzak veya bulut tabanlı üretken yapay zeka modellerine bağlayabilir. Bu hizmetlerden elde edilen çıktılar, eylemleri insan onayıyla yarı otomatik veya tam otomatik olarak gerçekleştirir.
Üretken yapay zeka destekli e-posta yardımcıları, e-postanın içeriğini önceden tanımlanmış kurallara ve gönderenlerle daha önceki etkileşimlere göre analiz ederek e-postaların yanıtlanmasına, ilgili e-postaların başkalarına iletilmesine veya spam olarak işaretlenmesine yardımcı olur. Ayrıca, genellikle yalnızca e-posta metinlerini değil, ekteki görselleri de yorumlayarak yanıtları otomatik olarak oluştururlar. Araştırmacılar, yapay zeka e-posta asistanı pazarı endüstrisinin 2032 yılına kadar yaklaşık 2 milyar dolara ulaşacağının tahmin edildiğini ve bu durumun sektörün bu riskleri ele almasını zorunlu hale getirdiğini söyledi.
Gösterilerinde araştırmacılar, üretken yapay zekayı kullanarak e-posta alıp gönderebilecek bir e-posta sistemi kurdular. Ardından, alıcı e-posta asistanının veritabanını kirletmek için sistemi, almayla artırılmış oluşturmayı veya yapay zeka modellerinin güvenilen harici verileri almak için kullandığı RAG yöntemini kullanmasını tetikleyen bir komut istemi içeren bir e-posta yazdılar. E-posta sistemi onu aldı ve solucanın jailbreak tekniğini kullandığı ve onu hassas verileri dışarı çıkarmaya zorladığı yapay zeka modeline gönderdi. Ayrıca girdiyi tasarlandığı gibi çıktı olarak kopyaladı, böylece aynı talimatları kendisine bağlı diğer AI ana bilgisayarlarına aktararak döngüyü genişletti.
Rakip istemin yalnızca metin olması gerekmez. Araştırmacılar, kötü amaçlı yazılımı bir e-postaya eklenen bir görüntüye kodlayarak ve yapay zeka destekli e-posta yardımcısını kötü amaçlı görüntüyü diğer yapay zeka ana bilgisayarlarına iletmeye zorlayarak benzer sonuçlar elde ettiler (bkz.: ABD ve Birleşik Krallık Siber Kuruluşları Küresel Yapay Zeka Güvenlik Rehberine Öncülük Ediyor.)
Şu anda üretken yapay zekayı kullanan sistemlerin sayısı “minimum” ancak teknoloji şirketlerinin yapay zeka yeteneklerini mevcut ürünlerine entegre etmek ve etkili bir şekilde üretken yapay zeka ekosistemleri oluşturmak için önemli çabalar sarf etmesiyle bu sayının artması bekleniyor. Araştırmacılar, “Bu gerçek nedeniyle, saldırıya maruz kalma oranının önümüzdeki birkaç yıl içinde önemli ölçüde artmasını bekliyoruz” dedi.
Mevcut durumunda insanlar, düşmanca kendi kendini kopyalayan istemi ve yükü tespit edebilir ve solucanın yeni ana bilgisayarlara yayılmasını önleyebilir. Ancak araştırmacılar, “bir sistemin güvenlik açığı için yama olarak insanın kullanılması kötü bir uygulamadır çünkü sistemlerin mevcut güvenlik açıklarını telafi etme konusunda son kullanıcılara güvenilemez” dedi ve bu çözümün “tamamen otonom gen yapay zekayla alakasız olduğunu” ekledi. ekosistemler.”
Şimdilik şirketler çıktılarının girdiye benzer parçalardan oluşmamasını ve aynı çıkarımı vermemesini sağlayacak şekilde güvence altına alabilirler. Araştırmacılar, bu mekanizmanın aracının kendisinde veya üretken yapay zeka sunucusunda kullanılabileceğini söyledi. Jailbreak'e karşı alınacak önlemler aynı zamanda saldırganların girdiyi çıktıya kopyalamak için bilinen teknikleri kullanmasını da engelleyebilir.
Araştırmacılar, deneyi yalnızca laboratuvar ortamında gerçekleştirdiklerini ve çalışmayı kamuya yayınlamadan önce bulgularını popüler üretken yapay zeka sohbet robotu üreticileri Google ve OpenAI'ye sunduklarını söyledi.