Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Hızlı enjeksiyon, HTML çıkış oluşturma istismar için kullanılabilir
Rashmi Ramesh (Rashmiramesh_) •
27 Mayıs 2025
Bilgisayar korsanları, modelin çıktısını manipüle etmek, kaynak kodunu eklemek ve potansiyel olarak platformun kullanıcı arayüzü aracılığıyla kötü niyetli içeriği sunmak için GitLab’ın DevSecops platformuna entegre edilmiş üretken bir yapay zeka asistanındaki güvenlik açıklarından yararlanabilir.
Ayrıca bakınız: Bulut Yerli Güvenlik Durumu 2024 Rapor: Kritik bulut güvenlik engellerini ortaya çıkarın
Yasal Güvenlik’teki araştırmacılar, GitLab ikilisindeki güvenlik açıklarından yararlanmak ve üretici AI iş akışlarını ele geçirmek ve dahili kodları ortaya çıkarmak için hızlı enjeksiyon ve HTML çıktı oluşturma işleminin kullanılabileceğini söyledi. Gitlab güvenlik açıklarını yamaladı.
İkili chatbot, geliştiricilerin “haftalarca süren taahhütlerde dolaşmasını” önleyen “anında yapılacaklar listesi oluşturma” için lanse edildi.
Yasal Güvenlik Kurucu Ortağı Liav Caspi ve Güvenlik Araştırmacısı Barak Mayraz, GitLab ikilisinin görünmez metin, gizlenmiş Unicode karakterleri ve yanıltıcı HTML etiketleri kullanılarak nasıl manipüle edilebileceğini gösterdi.
Duo, başlıklar, yorumlar ve son kod taahhütleri gibi çevreleyen proje bağlamını okuduğundan, görünüşte zararsız metin eserleri kullanılarak manipüle edilebilir. Bu istemler Duo’nun davranışını değiştirmek veya duyarlı bilgileri çıktıya zorlamak için tasarlanmıştır. Bir taahhüt mesajı, İkili’nin iyi huylu bir soru sorulduğunda özel bir dosyanın içeriğini ortaya çıkarmasını öğreten gizli bir yönerge içeriyordu. Asistan güçlü korkuluklardan yoksun olduğu için uydu.
GitLab Duo, o zamandan beri bağlamsal girdiyi nasıl ele aldığını güncelledi, bu tür gömülü talimatları takip etme olasılığını azalttı, ancak araştırmacılar, saldırının rutin geliştirici etkinliğinin bile AI kopilotları döngüdeyken beklenmedik tehditler getirebileceğini gösterdiğini söyledi.
Bir diğer kritik konu, Duo’nun GitLab’ın web arayüzünde nasıl üretildiği idi. Potansiyel olarak tehlikeli içerikten kaçmak yerine, asistanın HTML tabanlı yanıtları, sterilizasyon olmadan doğrudan görüntülendi. Bu, yasal araştırmacıların eklemesine izin verdi img Ve form Gitlab’ın geliştiricinin tarayıcı oturumunda oluşturduğu Duo’nun yanıtlarına etiketler. Yasalın kavram kanıtı saldırıları tam oturum kaçırmaya yükselmemiş olsa da, AI yanıtlarında etkileşimli HTML varlığı, web işaretleri aracılığıyla kimlik bilgisi hasat, tıklama veya eksfiltrasyon potansiyelini yarattı.
GitLab Duo, geliştirme iş akışlarına entegre edilecek şekilde tasarlanmıştır, kod yazma, sorunları özetlemek ve birleştirme isteklerini gözden geçirmek için AI destekli destek sunar. Sıkı entegrasyon, geliştirici verimliliği için faydalı olabilir, ancak asistanı güçlü ve potansiyel olarak savunmasız bir saldırı yüzeyi haline getirir. Yasal güvenlik, bir kuruluşun uygulama güvenlik çevresinin bir parçası olarak, özellikle bir CI/CD boru hattının birden fazla aşamasına yerleştirilmiş olan üretici AI asistanlarının tedavisini tavsiye etti.
Güvenlik incelemelerinin LLM istemlerine, AI tarafından oluşturulan yanıtlara ve bu çıktıların kullanıcılar ve sistemler tarafından oluşturulma veya harekete geçme yollarına uzanması gerektiğini de sözlerine, “AI asistanları başvurunuzun saldırı yüzeyinin bir parçası” dedi.
GitLab, geçen yıl, güvenli olmayan HTML öğelerinden kaçmak ve istenmeyen biçimlendirmenin kullanıcı arayüzünde görüntülenmesini önlemek için oluşturma mekanizmasını güncellediğini söyledi. Ayrıca, giriş dezenfekte iyileştirmeleri ve AI çıkışını daha iyi işlemek için değişiklikler oluşturma da dahil olmak üzere çeşitli düzeltmeler uygulamıştı. GitLab, araştırma sırasında müşteri verilerinin maruz kalmadığını ve vahşi doğada sömürü denemesi tespit edilmediğini de sözlerine ekledi.