Siber güvenlik araştırmacıları, Gitlab’ın yapay zeka (AI) yardımcı ikilisinde, saldırganların kaynak kodunu çalmasına ve daha sonra kurbanları kötü niyetli web sitelerine yönlendirmek için kullanılabilen HTML’yi enjekte edebilecek dolaylı bir hızlı enjeksiyon kusuru keşfettiler.
GitLab ikilisi, kullanıcıların kod yazmasını, gözden geçirmesini ve düzenlemesini sağlayan yapay zeka (AI) destekli kodlama asistanıdır. Antropic’in Claude modelleri kullanılarak inşa edilen hizmet ilk olarak Haziran 2023’te piyasaya sürüldü.
Ancak yasal güvenliğin bulunduğu gibi, GITLAB ikilisi sohbeti, saldırganların “özel projelerden kaynak kodunu çalmasına, diğer kullanıcılara gösterilen kod önerilerini manipüle etmesine ve hatta gizli, açıklanmamış sıfır gün güvenlik açıklıklarını sunmasına” izin veren dolaylı bir hızlı enjeksiyon kusuruna duyarlı olmuştur.
Hızlı enjeksiyon, Tehdit Oyuncularının kullanıcıların istemlerine verilen yanıtları manipüle etmeleri ve istenmeyen davranışlarla sonuçlanması için büyük dil modellerini (LLMS) silahlandırmalarını sağlayan AI sistemlerinde yaygın olan bir güvenlik açıkları sınıfını ifade eder.
Dolaylı hızlı enjeksiyonlar, doğrudan AI yapımı bir giriş sağlamak yerine, haydut talimatların, modelin işlemek için tasarlandığı bir belge veya web sayfası gibi başka bir bağlamda gömülmesi nedeniyle çok daha zordur.
Son çalışmalar, LLM’lerin, AI odaklı sohbet botlarını etik ve güvenlik korkuluklarını göz ardı eden zararlı ve yasadışı bilgiler üretmeye mümkün kılan jailbreak saldırı tekniklerine karşı savunmasız olduğunu ve dikkatlice hazırlanmış istemlere duyulan ihtiyacı etkili bir şekilde ortadan kaldırdığını göstermiştir.
Dahası, önceden ayarlanmış sistem istemlerini veya model tarafından takip edilmesi gereken talimatları yanlışlıkla ortaya çıkarmak için hızlı sızıntı (peak) yöntemleri kullanılabilir.
Trend Micro, bu ayın başlarında yayınlanan bir raporda, “Bu kuruluşlar için, iç kurallar, işlevler, filtreleme kriterleri, izinler ve kullanıcı rolleri gibi özel bilgilerin sızdırılabileceği anlamına geliyor.” Dedi. Diyerek şöyle devam etti: “Bu, saldırganlara, potansiyel olarak veri ihlallerine, ticari sırların ifşa edilmesine, düzenleyici ihlallerin ve diğer olumsuz sonuçlara yol açan sistem zayıflıklarından yararlanma fırsatı verebilir.”
 |
| Plaek Saldırı Gösterisi – Hassas işlevselliğin kimlik bilgisi fazlalığı / maruz kalması |
İsrail yazılım tedarik zinciri güvenlik firmasından yapılan son bulgular, birleştirme istekleri, mesajlar, sorun açıklamaları veya yorumlar ve kaynak kodunun herhangi bir yere yerleştirdiği gizli bir yorumun hassas verileri sızdırmak veya HTML’yi Gitlab Duo’nun yanıtlarına enjekte etmek için yeterli olduğunu göstermektedir.
Bu istemler, daha az tespit edilebilir hale getirmek için Base16 kodlama, Unicode kaçakçılığı ve Katex rending gibi kodlama hileleri kullanılarak daha fazla gizlenebilir. Girdi dezenfekte edilmesi ve Gitlab’ın bu senaryoların hiçbirini kaynak kodundan daha fazla inceleme ile ele almaması, kötü bir aktörün site boyunca bilgi eklemesini sağlayabilirdi.
Güvenlik araştırmacısı Omer Mayraz, “Duo, yorumlar, açıklamalar ve kaynak kodu da dahil olmak üzere sayfanın tüm bağlamını analiz ediyor – bu bağlamda herhangi bir yere gizli enjekte edilen talimatlara karşı savunmasız hale getiriyor.” Dedi.
Bu aynı zamanda bir saldırganın AI sistemini bir sentezlenmiş kod parçasına kötü amaçlı bir JavaScript paketi eklemek veya güvenli bir URL’yi güvenli bir şekilde sunarak kurbanın kimlik bilgilerini toplayan sahte bir giriş sayfasına yönlendirmesine neden olabileceği anlamına gelir.
Bunun üzerine, GitLab Duo Chat’in belirli birleştirme istekleri ve bunların içindeki kod değişiklikleri hakkında bilgi erişme yeteneğinden yararlanarak, yasal güvenlik, Duo tarafından işlendiğinde özel kaynak kodunun bir saldırgan kontrolüne söndürülmesine neden olan bir proje için bir birleştirme isteği açıklamasına gizli bir istem eklemenin mümkün olduğunu buldu.
Bu da, çıkış üretildikçe yanıtları HTML’ye yorumlamak ve oluşturmak için akış işaretleme oluşturma kullanımı nedeniyle mümkün olur. Başka bir deyişle, HTML kodunu dolaylı hızlı enjeksiyon yoluyla beslemek, kod segmentinin kullanıcının tarayıcısında yürütülmesine neden olabilir.
12 Şubat 2025’te sorumlu açıklamanın ardından konular GITLAB tarafından ele alınmıştır.
Mayraz, “Bu güvenlik açığı, Gitlab ikilisi gibi AI asistanlarının çift kenarlı doğasını vurgulamaktadır: geliştirme iş akışlarına derinden entegre edildiğinde, sadece bağlamı değil, riski de miras alıyorlar.” Dedi.
“Gizli talimatları görünüşte zararsız proje içeriğine yerleştirerek, Duo’nun davranışını manipüle edebildik, özel kaynak kodunu söndürebildik ve AI yanıtlarının istenmeyen ve zararlı sonuçlar için nasıl kaldırılabileceğini gösterebildik.”
Açıklama, Pen Test Partners’ın SharePoint veya SharePoint aracıları için Microsoft Copilot’un “kısıtlı görünüm” ayrıcalığına sahip dosyalardan bile hassas verilere ve belgelere erişmek için yerel saldırganlar tarafından nasıl kullanılabileceğini ortaya koymasıyla ortaya çıkıyor.
Şirket, “Birincil faydalardan biri, büyük kuruluşların SharePoint siteleri gibi büyük veri kümeleri aracılığıyla kısa sürede arama yapabilmemiz ve trol yapabilmemizdir.” Dedi. Diyerek şöyle devam etti: “Bu bizim için yararlı olacak bilgi bulma şansını büyük ölçüde artırabilir.”
Saldırı teknikleri, otomatik Web3 işlemleri için yeni merkezi olmayan bir AI ajan çerçevesi olan Elizaos’un (eski adıyla AI16Z), depolanan bağlamı etkili bir şekilde bozarak ve istenmeyen varlık transferine yol açarak, kötü niyetli talimatlar enjekte edilerek manipüle edilebileceği yeni araştırmaları takip ediyor.
Princeton Üniversitesi’nden bir grup akademisyen bir grup akademisyen, “Bu güvenlik açığının sonuçları, Elizaosagents’in aynı anda birden fazla kullanıcıyla etkileşime girecek şekilde tasarlandığı göz önüne alındığında, tüm katılımcıların paylaşılan bağlamsal girdilere dayanarak tasarlandığı göz önüne alındığında, özellikle şiddetlidir.”
“Kötü niyetli bir aktör tarafından tek bir başarılı manipülasyon, tüm sistemin bütünlüğünü tehlikeye atabilir ve hem tespit edilmesi hem de hafifletilmesi zor olan basamaklı efektler yaratabilir.”
Hızlı enjeksiyonlar ve jailbreaks bir yana, günümüzde LLM’leri rahatsız eden bir başka önemli sorun, modeller giriş verilerine dayanmayan veya basitçe imal edilmiş yanıtlar ürettiğinde ortaya çıkan halüsinasyondur.
AI test şirketi Giskard tarafından yayınlanan yeni bir araştırmaya göre, LLMS’nin cevaplarında özlü olmalarını öğretmek, gerçekliği olumsuz etkileyebilir ve halüsinasyonları kötüleştirebilir.
“Bu etki ortaya çıkıyor gibi görünüyor çünkü etkili çürümeler genellikle daha uzun açıklamalar gerektiriyor” dedi. “Kısa olmak zorunda kaldığında, modeller kısa ama yanlış cevaplar üretmek veya soruyu tamamen reddederek yararsız görünmek arasında imkansız bir seçimle karşı karşıya.”