Bir AI güvenlik firması olan Pangea Labs’taki araştırmacılar tarafından yeni ve eşsiz bir siber saldırı olan yeni ve eşsiz bir siber saldırı, araştırmacılar tarafından keşfedildi. Bu saldırı, büyük üretken AI araçlarının programlanmasında bir kusurdan yararlanır ve bunları tehlikeli kötü amaçlı yazılımları güvenli kod olarak sınıflandırmaya başarıyla kandırır.
Hackread.com ile paylaşılan araştırma, yasal sesli metne saygı göstermek için eğitilmiş olan bu AI modellerinin sosyal mühendislik tarafından manipüle edilebileceğini ortaya koyuyor.
LegalPWN tekniği, sahte yasal feragatnamelerde kötü niyetli kodları gizleyerek çalışır. Araştırmaya göre, on iki büyük AI modeli test edildi ve çoğunun bu sosyal mühendislik biçimine duyarlı olduğu bulundu. Araştırmacılar, aşağıdakiler de dahil olmak üzere altı farklı yasal bağlam kullanarak modelleri başarıyla kullandılar:
- Yasal feragatnameler
- Uyumluluk Görevleri
- Gizlilik Bildirimleri
- Hizmet ihlallerinin şartları
- Telif hakkı ihlali bildirimleri
- Lisans Sözleşmesi Kısıtlamaları
Saldırı, bir AI’nın davranışını manipüle etmek için kötü niyetli talimatların hazırlandığı hızlı bir enjeksiyon şekli olarak kabul edilir. Son zamanlarda, hackread.com, hızlı saldırıdaki adamla benzer bir eğilim gözlemledi, burada kötü niyetli tarayıcı uzantıları, Layerx Research’ten bir bulgu olan ChatGpt ve Gemini gibi araçlara gizli istemleri enjekte etmek için kullanılabiliyordu.
Riskli Gerçek Dünya Araçları
Bulgular (PDF) sadece teorik laboratuvar deneyleri değildir; Günde milyonlarca insan tarafından kullanılan geliştirici araçlarını etkiler. Örneğin, Pangea Labs, Google’ın bir komut satırı arabirimi olan Google’ın Gemini CLI’sinin, bir kullanıcının, bir saldırıya bilgisayarına sistemlerinde uzaktan erişim sağlayan bir tür kötü amaçlı kod türü olan bir ters kabuk yürütmesini önermek için kandırıldığını buldu. Benzer şekilde, GitHub Copilot, sahte bir telif hakkı bildirimi içinde gizlendiğinde basit bir hesap makinesi olarak ters kabuk içeren yanlış tanımlayıcı kodlara kandırıldı.
“LegalPWN saldırıları, Gemini-CLI gibi araçlar da dahil olmak üzere canlı ortamlarda da test edildi. Bu gerçek dünya senaryolarında, enjeksiyon AI güdümlü güvenlik analizini başarıyla atladı ve sistemin kötü niyetli kodu güvenli olarak yanlış sınıflandırmasına neden oldu.”
Pangea Labs
Araştırma, önde gelen şirketlerin modellerinin bu saldırıya karşı savunmasız olduğunu vurguladı. Bunlar aşağıdakileri içerir:
- »AI’s Grook
- Google’ın İkizleri
- Meta’nın Aramaları 3.3
- Openai’nin Chatgpt 4.1 ve 4o.
Bununla birlikte, bazı modeller Antropic’in Claude 3.5 sonnet ve Microsoft’un Phi 4’ü gibi güçlü bir direnç gösterdi. Araştırmacılar, AI’yı tehditlerin farkına varmak için tasarlanmış açık güvenlik istemleriyle bile, LegalPWN tekniğinin bazı durumlarda hala başarılı olmayı başardığını belirtti.
İnsan gözetiminin önemi
Pangea araştırması AI sistemlerinde kritik bir güvenlik boşluğunu vurgulamaktadır. Tüm test senaryolarında, insan güvenliği analistlerinin kötü amaçlı kodu tutarlı ve doğru bir şekilde tanımladığı, AI modellerinin, güvenlik talimatlarıyla bile, kötü amaçlı yazılım yasal görünümlü metne sarıldığında bunu başaramadığı bulunmuştur.
Araştırmacılar, kuruluşların yalnızca otomatik AI güvenlik analizine güvenmemeleri gerektiği sonucuna varmış ve AI’ya giderek daha fazla güvenen sistemlerin bütünlüğünü ve güvenliğini sağlamak için insan denetimi ihtiyacını vurgulamaktadır.
Bu yeni tehdide karşı korunmak için Pangea, şirketlerin AI-destekli tüm güvenlik kararları için döngü içi bir inceleme süreci uygulamasını, hızlı enjeksiyon girişimlerini tespit etmek için tasarlanmış belirli AI korkulukları dağıtmasını ve canlı ortamlarda tam otomatik AI güvenlik iş akışlarından kaçınmanızı önerir.