AI modellerinin yasal sesli metinlere uyma eğiliminden yararlanan ve popüler geliştirme araçlarındaki güvenlik önlemlerini başarılı bir şekilde atlayan sofistike yeni bir saldırı yöntemi.
Pangea AI Security tarafından yapılan bir araştırma, büyük dil modellerini (LLMS) kötü amaçlı kodların yürütülmesine yönlendirmek için yasal feragatnameleri, telif hakkı bildirimlerini ve hizmet şartlarını silahlandıran “LegalPWN” olarak adlandırılan yeni bir hızlı enjeksiyon tekniği ortaya koydu.
Saldırı, Github Copilot, Google’ın Gemini CLI, ChatGPT ve diğer önemli modeller dahil olmak üzere büyük AI araçlarına karşı etkili olduğunu kanıtladı.
LegalPWN, AI modellerinin saygı ve işleyecek şekilde programlandığı meşru görünümlü yasal metin içine kötü niyetli talimatları yerleştirerek çalışır.
Saldırganlar, bariz düşmanlık istemlerini kullanmak yerine, telif hakkı ihlali uyarıları, gizlilik bildirimleri veya hizmet ihlalleri gibi tanıdık yasal dilde yüklerini gizler.
Araştırmacılar raporlarında, “Bu modellerin bilgiyi yorumlama ve bağlamsallaştırma yeteneği, temel bir güç olsa da, ince rakip talimatlar güvenilir veya görünüşte zararsız bir metin içine gömüldüğünde de bir zayıflık olabilir.
LegalPWN Saldırı Yöntemi
Teknik test sırasında oldukça etkili oldu. Araştırmacılar, yasal feragatnamelere sarılmış bir ters kabuk (saldırganlara uzaktan sistem erişimi sağlayan) içeren kötü amaçlı kod sunduklarında, birden fazla AI sistemi güvenlik tehdidini tanımlayamadı. Bunun yerine, tehlikeli kodu güvenli olarak sınıflandırdılar, bazı araçlar uygulamasını bile önerdi.
Araştırma ekibi, endişe verici sonuçlarla canlı ortamlarda yasal saldırıları başarıyla gösterdi. Microsoft’un AI kodlama asistanı Github Copilot, basit bir hesap makinesi programı gibi görünen ve kötü amaçlı kodu yalnızca “hesap makinesi” olarak tanımlayan bir ters kabuk yükünü tamamen kaçırdı.
Daha da önemlisi, Google’ın Gemini CLI’si sadece tehdidi tespit edemedi, aynı zamanda kullanıcıların saldırganlara hedef sistem üzerinde tam uzaktan kumanda sağlayacak kötü amaçlı komutu kabul etmelerini ve yürütmesini aktif olarak önerdi.
Testte kullanılan kötü niyetli yük, temel bir aritmetik hesap makinesi gibi görünen ancak gizli bir pwn() işlev.
Bir ekleme işlemi sırasında tetiklendiğinde, bu işlev saldırgan kontrollü bir sunucuya bağlantı kuracak ve tüm sistemi etkili bir şekilde tehlikeye atarak uzak bir kabuk ortaya çıkarır.
12 büyük AI modelinde test edilmesi, yaklaşık üçte ikisinin belirli koşullar altında yasal saldırılara karşı savunmasız olduğunu ortaya koymuştur. Chatgpt 4o, Gemini 2.5, çeşitli GROK modelleri, Lama 3.3 ve Deepseek Qwen, çoklu test senaryolarında tekniğe duyarlılık gösterdi.
Ancak, tüm modeller eşit derecede savunmasız değildi. Antropic’in Claude modelleri (hem 3.5 sonnet hem de sonnet 4), Microsoft’un Phi 4 ve Meta’s Lama Guard 4, saldırılara sürekli olarak direndi, kötü amaçlı kodları doğru bir şekilde tanımladı ve yanıltıcı talimatlara uymayı reddetti.
LegalPWN saldırılarının etkinliği, AI sistemlerinin nasıl yapılandırıldığına bağlı olarak değişmiştir. Belirli güvenlik talimatları olmayan modeller en savunmasız olan modeller, güvenliği vurgulayan güçlü sistem talepleri olan modeller önemli ölçüde daha iyi performans gösterdi.
Keşif, AI güvenliğinde, özellikle LLMS’nin kullanıcı tarafından oluşturulan içeriği, harici belgeleri veya feragatnameler içeren dahili sistem metinlerini işlediği uygulamalarla ilgili kritik bir kör noktayı vurgulamaktadır.
Saldırı vektörü özellikle tehlikelidir, çünkü yasal metin yazılım geliştirme ortamlarında her yerde bulunur ve tipik olarak şüphe olmadan işlenir.
Güvenlik uzmanları, LegalPWN’nin teorik bir tehditten daha fazlasını temsil ettiği konusunda uyarıyor. Tekniğin ticari AI güvenlik araçlarını atlamadaki başarısı, saldırganların AI sistemlerini yetkisiz operasyonlar gerçekleştirmek, sistem bütünlüğünü tehlikeye atmaya veya hassas bilgileri sızdırmak için potansiyel olarak benzer yöntemler kullanabileceğini göstermektedir.
Araştırmacılar, hızlı enjeksiyon denemelerini tespit etmek, yüksek bahisli uygulamalar için insan gözetimini sürdürmek ve LLM gelişimine düşmanca eğitim senaryolarını dahil etmek için özel olarak tasarlanmış AI destekli korkuluklar uygulanması da dahil olmak üzere çeşitli azaltma stratejileri önermektedir. Basit anahtar kelime filtrelemesine güvenmek yerine semantik niyeti analiz eden gelişmiş giriş doğrulaması da çok önemlidir.
Integrate ANY.RUN TI Lookup with your SIEM or SOAR To Analyses Advanced Threats -> Try 50 Free Trial Searches