Araştırmacılar, Büyük Dil Modellerinin (LLM’ler) ANSI çıkış kodlarını oluşturup değiştirebildiğini, bunun da terminal tabanlı uygulamalarda potansiyel olarak yeni güvenlik açıkları yaratabildiğini ortaya çıkardı.
ANSI çıkış dizileri, metin ekranlarının görünümünü ve davranışını değiştirmek için terminal öykünücüleri tarafından kullanılan standartlaştırılmış bir kontrol karakterleri kümesidir.
Metin rengi değişiklikleri, imleç hareketi, yanıp sönen metin ve daha fazlası gibi özellikleri etkinleştirir. Terminal emülatörleri bu dizileri dinamik işlevsellik sağlamak için yorumlar, ancak bunlar aynı zamanda tarihsel olarak bir güvenlik açığı kaynağı olmuştur.
İlk olarak Leon Derczynski tarafından bildirilen ve güvenlik araştırmacıları tarafından daha da araştırılan bu keşif, Yüksek Lisans ile entegre komut satırı araçlarının güvenliği konusunda önemli endişeleri artırıyor.
KOBİ ve MSP Siber Güvenlik Liderleri için 2024 MITRE ATT&CK Sonuçlarından Yararlanma – Ücretsiz Web Seminerine Katılın
Terminal davranışını kontrol etmek için kullanılan özel karakter dizileri olan ANSI kaçış kodları, LLM’ler tarafından çeşitli şekillerde kullanılabilir:
- Yanıp sönen metin ve renk değişiklikleri oluşturma
- İmleç konumunu ve ekran içeriğini değiştirme
- Yanıtlarda gizli metin oluşturma
- Kullanıcının izni olmadan metni panolara kopyalamak
- Hizmet reddi saldırıları gerçekleştirme
- Potansiyel olarak kötü amaçlı tıklanabilir köprüler oluşturma
- MacOS sistemlerinde DNS isteklerini tetikleme
Bu güvenlik açıklarını test etmek için bir araştırmacı Python tabanlı bir uygulama geliştirdi. dillma.pyLLM’lerle entegre olur.
Bir gösteride, uygulamaya kötü amaçlı bir dosya yüklendi ve bu dosya daha sonra ANSI kodlarını kullanarak terminalde yanıp sönen, renkli metinler ve işitsel bip sesleri üretti.
Başka bir test, LLM tarafından oluşturulan çıktının, özellikle köprü oluşturmayı destekleyen Visual Studio Code terminali gibi ortamlarda potansiyel olarak kullanıcı verilerini sızdıran tıklanabilir bağlantıları nasıl ekleyebileceğini gösterdi.
Güvenlik uzmanları, bu güvenlik açıklarından iki ana yöntemle yararlanılabileceğini gösterdi: LLM’lerin doğrudan kontrol karakterleri oluşturmasını istemek ve kod yorumlama araçlarını kullanmak.
Bunun sonuçları, çıktılarını uygun şekilde sterilize etmeyen Yüksek Lisans destekli CLI uygulamaları için özellikle ciddidir.
Araştırma, “Geliştiricilerin ve uygulama tasarımcılarının LLM çıktısını ekledikleri bağlamı dikkate almaları önemlidir, çünkü çıktı güvenilmezdir ve rastgele veriler içerebilmektedir” diye belirtiyor.
Bu keşif, web uygulamalarında gizli iletişimi mümkün kılan Unicode Etiketleri hakkındaki önceki bulguları takip ediyor ve yapay zeka uygulamalarında beklenmedik saldırı yüzeyleri oluşturan eski özelliklerden oluşan bir model öneriyor.
Bu güvenlik endişelerini gidermek için araştırmacılar çeşitli koruyucu önlemlerin uygulanmasını önermektedir:
- ANSI kontrol karakterlerini varsayılan olarak kodlama
- Gerektiğinde kontrol karakterlerini etkinleştirmek için özel seçenekler ekleme
- Onaylanan karakterler için izin verilenler listesini uygulama
- Uygulamaların kapsamlı uçtan uca testlerinin yapılması
Bu keşif, yapay zeka teknolojisi gelişmeye devam ettikçe güvenlik uygulayıcılarının, özellikle de LLM’leri mevcut sistem ve protokollerle entegre ederken potansiyel güvenlik açıklarına karşı dikkatli olmaları gerektiğini hatırlatıyor.
Araştırma topluluğu, LLM güvenliğine ilişkin soruşturma devam ettikçe daha fazla gizli güvenlik açığının keşfedilmesini bekliyor ve bu da yapay zeka destekli uygulamalarda sağlam güvenlik önlemlerine yönelik süregelen ihtiyacın altını çiziyor.
Investigate Real-World Malicious Links,Malware & Phishing Attacks With ANY.RUN - Tree for Free