Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Araştırmacılar, AI’nın yayılmasına yardımcı olduğu bir zombi kusurunu düzeltmek için AI’ya döner
Rashmi Ramesh (Rashmiramesh_) •
11 Haziran 2025
On yıllık bir hatayı yanlışlıkla sürdüren yapay zeka araçları artık onu ortadan kaldırmaya yardımcı olabilir.
Ayrıca bakınız: Verileri Güçlendirecek Verileri Dönüştürmek AI: Değer, Güven ve Etkinin Kilidini Açma
2010 yılında bir geliştirici, Node.js. Saldırganların belirlenmiş bir dizinin dışında gezinmesine izin veren ince bir yol geçirme güvenlik açığı içeriyordu. Zamanla, Stack Overflow cevapları, blog yayınları, üniversite öğreticileri ve hatta büyük şirketlerin üretim depoları yoluyla yayılan güvensiz desen.
Yıllar boyunca, geliştirici kültürüne o kadar gömülü hale geldi ki, bugünün AI modelleri için verileri eğitmeye yol açtı.
Leiden Üniversitesi’nde doktora adayı Jafar Akhoundali, “2010 Gist’in orijinal kaynak olduğundan% 100 emin değiliz, ancak bu izleyebileceğimiz en eski örnek” dedi. Diyerek şöyle devam etti: “Kod snippet yayıldı çünkü ortak bir sorunu – statik içerik sunmak – ve kopya yapıştırma ile kolayca yeniden kullanılabilir.”
Stack Overflow gibi öğreticiler ve platformlar, daha görünür oldukları, hızlı çözümler arayan ve kod yeniden kullanımı için tasarlanan geliştiriciler tarafından daha güvenilir oldukları için yayılmaya büyük katkıda bulunanlardır. Akhoundali, projeler arasında doğrudan kopyalama, iş mantığından yeniden kullanılabilir kodu çıkarmak için daha fazla bağlam ve çaba gerektirdiğinden daha az sıklıkla gerçekleşiyor.
Hatanın ne kadar köklü hale geldiğini ölçmek için Akhoundali ve ekibi, GPT-3.5, GPT-4, Claude, Gemini ve Copilot modelleri gibi büyük dil modellerini statik bir dosya sunucusu için kod yazmasını istedi. Genel istemleri test ettiler ve açıkça güvenli kod talep ettiler. Güvenliğe öncelik vermesi talimatı verildiğinde bile, yanıtların% 70’i savunmasız mantık içeriyordu. GPT-3.5 ve dengeli moddaki kopilot, test edilen senaryoların herhangi birinde güvenli kod oluşturamadı.
Akhoundali, “Birçok LLM GitHub gibi büyük kamu kod tabanları üzerinde eğitildi.” Dedi. Veriler güvensiz kalıplar içeriyorsa, modellerin kaçınılmaz olarak bunları yeniden üreteceğini söyledi.
Bu bir “çöp, çöp dışarı” vakasıdır. “Verilerin kendisi kaliteden yoksun olduğunda modellerin daha iyi performans göstermesini bekleyemeyiz … ne insanlar ne de yapay zeka burada suçlanmayacak” dedi. Bu tür sorunlara potansiyel bir çözüm, sadece AI ajanları gibi internetteki güvenilmeyen mevcut verilere güvenmek yerine hipotez, deney ve akıl yapabilen kendi kendini geliştiren modellerdir.
Araştırmacılar, Openai, İkizler ve Claude gibi model sağlayıcılar arasında güvenlik açığı üremesinde önemli bir fark bulamadılar. Ekip ayrıca düzeltmek için bir sistem inşa etti. Yol geçiş güvenlik açığı kalıpları için kamuya açık GitHub depolarını tarar ve kum havuzu testlerini kullanarak sömürülebilirliği doğrulamaya çalışır. Başarılı olursa, araç bir yama oluşturmak için GPT-4’ü kullanır. Savunmasız kodun pratikte tetiklenebileceğini doğrulayarak yanlış pozitiflerden kaçınır, bu da saf statik analizden bir ayrım yapar.
Yama adımının tasarlanması teknik olarak zor oldu. İlk denemeler modelden tüm dosyaları yeniden yazmasını istedi, bu da sözdizimi hatalarına ve istenmeyen değişikliklere yol açtı. Daha sonra ekip, satır numaralarını ekleyerek ve bunun yerine fark isteyerek yaklaşımını geliştirdi. O zaman bile, yama doğruluğunun sağlanması ek sezgisel tarama ve programlı kontroller gerektiriyordu.
Akhoundali, “Tonlarca program var, her biri farklı işlevsellik ve mantık gerektiriyor. Program başına özelleştirilmiş testler yapsak bile, bakımcılardan son bir kontrol gerektiren tüm köşe vakalarını kapsamak hala mümkün değil.” Dedi.
40.546 depodan oluşan ilk taramadan, araç 1.756’nın sömürülebilir yol geçiş kusurları olduğunu doğruladı. 1.600 geçerli yama üretti. Sadece 63 proje düzeltmeyi kabul etti.
Akhoundali düşük alımı çeşitli faktörlere bağlar. Bazı depolar terk edildi, diğerleri kodu sadece test veya geliştirici ortamlarda kullandı ve birkaç durumda, bakımcılara ulaşmak için güvenli bir kanal alamadılar.
Kötü niyetli aktörleri devirmekten kaçınmak için, ekip tam teknik detayları sakladı. Mümkün olduğunda özel kanallardan ulaştılar. Akhoundali, “Potansiyel saldırganların bu kırılganlığı buldukları ve bundan yararlanma risklerine karşı savunmasızlık konusunda toplumu bilgilendirmenin faydalarını dengelemeye çalıştık.” Dedi.
Ekibin araştırması, JavaScript projelerinde yol geçiş kırılganlığına odaklandı, ancak boru hattı genişletilebilir. Prensip olarak, yaklaşımın diğer güvenlik açığı sınıflarına veya hatta diğer programlama dillerine uygulanabileceğini söyledi.
Yapay zeka satıcılarının rolüne gelince, Akhoundali, temerrüde düşme eğitimi ve model uyumunun yardımcı olabileceğine inanıyor. Ama zorlayıcı olacak, dedi. Çoğu zaman, güvenli kod daha karmaşık kod anlamına gelir. Tüm geliştiriciler bunu isteyecek mi yoksa sadece işlevsellikle ilgilenecekler mi? Performansa ne dersin – bazen, güvenli kod çalıştırmak onu çok daha yavaş hale getiriyor ve birden fazla kontrol gerektiğini söyledi.
“Nihai tasarım seçenekleri geliştiricilerle yatıyor, ancak satıcılar önemli bir rol oynuyor. Tasarım seçenekleri ve öncelikleri farklı geliştiricilere ve şirketlere göre değişiyor” dedi.