Güvenli Erişim Servisi Edge (SASE) çözüm sağlayıcısı olan Cato Networks, 2025 CATO CTRL tehdit raporunu yayınladı ve önemli bir gelişmeyi ortaya koydu. Araştırmacılara göre, olmayan bireylere izin veren bir teknik tasarladılar. Önceden Kodlama Deneyimi Çıkabilen üretken AI (Genai) araçlarını kullanarak kötü amaçlı yazılım oluşturmak için.
LLM Jailbreak, “Sürükleyici Dünya” aracılığıyla işleyen Chrome Infostealer’ı yarattı
Araştırmalarının çekirdeği, bir Cato CTRL tehdit istihbarat araştırmacısı tarafından geliştirilen “Dalgalı Dünya” olarak adlandırılan yeni bir Büyük Dil Modeli (LLM) jailbreak tekniğidir. Teknik, Deepseek, Microsoft Copilot ve Openai’nin chatgpt gibi popüler platformlar da dahil olmak üzere Genai araçlarının kontrollü bir ortamda belirli roller ve görevler verildiği ayrıntılı bir kurgusal anlatı oluşturmayı içerir.
Bu anlatı manipülasyonu yoluyla bu AI araçlarının varsayılan güvenlik kontrollerini etkili bir şekilde atlayarak, araştırmacı onları giriş bilgilerini çalabilen işlevsel kötü amaçlı yazılımlar üretmeye zorladı. Google Chrome.
“Önceden kötü amaçlı yazılım kodlama deneyimi olmayan bir Cato CTRL tehdit istihbarat araştırmacısı, Chrome 133 için tamamen işlevsel bir Google Chrome Infostealer oluşturmak için Deepseek-R1, Deepseek-V3, Microsoft Copilot ve Openai’nin chatgpt dahil olmak üzere birçok LLM’yi başarıyla jailbreak Jailbreak.”
Cato Networks
Bu teknik (sürükleyici dünya), genai sağlayıcılar tarafından uygulanan güvencelerde var olan kritik bir kusuru, kötüye kullanımı önlemek için tasarlanmış amaçlanan kısıtlamaları kolayca atladığını gösterir. Cato Networks’te tehdit istihbarat araştırmacısı Vitaly Simonovich olarak belirtilmiş“Sıfır bilgi tehdidi aktörünün yükselişinin kuruluşlar için yüksek bir risk oluşturduğuna inanıyoruz çünkü kötü amaçlı yazılım yaratma engelinin şimdi Genai araçlarıyla önemli ölçüde düşürüldüğü.”
Raporun bulguları, Cato Networks’ü etkilenen Genai araçlarının sağlayıcılarına ulaşmaya itti. Microsoft ve Openai bilgilerin alındığını kabul ederken, Deepseek tepkisiz kaldı.
Google, kötü amaçlı yazılım kodunu gözden geçirmeyi reddetti
Araştırmacılara göre, Google, oluşturulan kötü amaçlı yazılım kodunu gözden geçirme fırsatı sunulmasına rağmen, bunu reddetti. Büyük teknoloji şirketlerinden birleşik bir yanıt eksikliği, ileri AI araçlarındaki tehditlerin ele alınmasını çevreleyen karmaşıklıkları vurgulamaktadır.
Llms ve jailbreaking
LLM’ler nispeten yeni olmasına rağmen, jailbreaking onların yanında gelişti. Bir rapor yayınlanmış Şubat 2024’te Deepseek-R1 LLM’nin bir güvenlik analizinde jailbreak saldırılarının yarısından fazlasını önleyemediğini ortaya koydu. Benzer şekilde, bir rapor Eylül 2023’teki Slashnext’ten, araştırmacıların kimlik avı e -postaları oluşturmak için nasıl başarılı bir şekilde birden fazla AI chatbot’u başarılı bir şekilde jailbroke gösterdi.
Koruma
Cato Networks Tehdit İstihbarat Ekibinin açılış yıllık yayını olan 2025 CATO CTRL Tehdit Raporu, proaktif ve kapsamlı AI güvenlik stratejilerine yönelik kritik ihtiyacı vurgulamaktadır. Bunlar, beklenen istemler ve yanıtlarla güvenilir bir veri kümesi oluşturarak ve AI sistemlerini iyice test ederek LLM jailbreak’in önlenmesini içerir.
Güvenlik açıkları ve diğer güvenlik sorunlarının bulunmasına yardımcı olduğu için düzenli yapay zeka kırmızı ekibi de önemlidir. Ayrıca, kullanıcılara bir AI ile etkileşime girdiklerini bilgilendirmek ve kötüye kullanımı önlemek için kabul edilebilir davranışları tanımlamak için açık feragatnameler ve kullanım şartları mevcut olmalıdır.