Palo Alto Networks’in Tehdit Araştırma Merkezi tarafından yayınlanan son bir çalışmada, araştırmacılar başarılı bir şekilde jailbroke 17 popüler üretken AI (Genai) Web ürünleri, güvenlik önlemlerinde güvenlik açıklarını ortaya koyuyor.
Araştırma, zararlı veya hassas içeriğin üretilmesini önlemek için tasarlanmış büyük dil modellerinin (LLMS) korkuluklarını atlamada jailbreaking tekniklerinin etkinliğini değerlendirmeyi amaçladı.
Maruz kalan güvenlik açıkları
Araştırmacılar, LLM’leri kısıtlı içerik üretmeye veya hassas bilgiler sızdırmaya yönlendirmek için hem tek dönüş hem de çok dönüş stratejileri kullandılar.
“Hikaye anlatımı” ve “öğretim geçersiz kılma” gibi tek dönüş stratejilerinin, özellikle veri sızıntısı hedefleri için belirli senaryolarda etkili olduğu bulunmuştur.
Bununla birlikte, “Crescendo” ve “Bad Likert Hakimi” de dahil olmak üzere çok yönlü stratejiler, AI güvenlik ihlallerine ulaşmada daha başarılı oldu.
Bu çok dönüş yaklaşımları genellikle güvenlik önlemlerini atlayan istemlerin kademeli olarak artmasını içerir, bu da kötü amaçlı yazılım veya nefret dolu konuşma gibi zararlı içerikler üretmede daha yüksek başarı oranlarına yol açar.
Çalışma, test edilen tüm genai uygulamalarının, birden fazla stratejiye karşı en savunmasız olan bazı kapasitelerde jailbreaking’e duyarlı olduğunu ortaya koydu.
Tek dönüş saldırıları güvenlik ihlalleri için ılımlı bir başarı gösterirken, çok dönüş stratejileri bunları önemli ölçüde daha iyi performans göstererek belirli hedefler için% 54,6’ya kadar başarı oranları elde etti.
Bu eşitsizlik, gelişmiş jailbreaking tekniklerine karşı koymak için sağlam güvenlik önlemlerine olan ihtiyacı vurgulamaktadır.
Sonuçlar
Bulgular, LLM kullanımı ile ilişkili riskleri izlemek ve azaltmak için kapsamlı güvenlik çözümlerinin uygulanmasının öneminin altını çizmektedir.
Kuruluşlar, AI benimsemesini teşvik ederken siber güvenliği artırmak için Palo Alto Networks portföyü gibi araçlardan yararlanabilir.
Çalışma, çoğu AI modelinin sorumlu kullanıldığında güvenli olsa da, kötüye kullanım potansiyelinin uyanık gözetim ve daha sağlam güvenlik protokollerinin geliştirilmesini gerektirdiğini vurgulamaktadır.
Araştırmacılar, çalışmalarının kenar vakalarına odaklandığını ve tipik LLM kullanım senaryolarını yansıtmadığını belirtiyor.
Bununla birlikte, sonuçlar, Genai uygulamalarının güvenlik açıkları ve güvenliklerini artırmak için devam eden araştırmalara duyulan ihtiyaçlar hakkında değerli bilgiler vermektedir.
AI teknolojisi gelişmeye devam ettikçe, bu güvenlik açıklarını ele almak, LLM’lerin çeşitli uygulamalarda güvenli ve etik konuşlandırılmasını sağlamak için çok önemli olacaktır.
Collect Threat Intelligence on the Latest Malware and Phishing Attacks with ANY.RUN TI Lookup -> Try for free