YORUM
Yapay zeka (AI) kodlama araçlarının ortaya çıkışı şüphesiz modern yazılım geliştirmede yeni bir sayfaya işaret ediyor. İle Kuruluşların %63’ü Şu anda AI kodlama asistanlarını geliştirme iş akışlarına pilot olarak uyguluyor veya dağıtıyor, cin artık şişeden çıktı ve endüstrinin artık onu mümkün olduğunca güvenli ve verimli bir şekilde entegre etmek için dikkatli hamleler yapması gerekiyor.
OWASP Vakfı, geliştiricilerin kod tabanlarını istismar edilebilir güvenlik açıklarına karşı en iyi şekilde nasıl koruyabilecekleri konusunda kapsamlı bir kapsam sunarak uzun süredir güvenli kodlamanın en iyi uygulamalarının şampiyonu olmuştur. Onun son güncellemesi Büyük Dil Modeli (LLM) Uygulamaları için OWASP İlk 10 Yapay zeka tarafından oluşturulan kod ve üretken yapay zeka (GenAI) uygulamaları tarafından sürdürülen yeni ortaya çıkan ve en güçlü tehditleri ortaya koyuyor ve bu, çirkin başlarını ortaya çıkarması muhtemel tehditleri anlamak ve azaltmak için önemli bir başlangıç noktasıdır.
Gelecekte daha güvenli, daha kaliteli yazılım görmek istiyorsak, geliştirici risk yönetimi etrafında sağlam, temel kontrolleri entegre etmeye odaklanmalıyız; uygulamaların yayınlanmasını talep eden küresel yönergelerin telaşında bir engel oluşturmaktan bahsetmiyoruz bile. tasarım gereği güvenli.
Yapay Zeka Tarafından Üretilen Kod ile Yazılım Tedarik Zinciri Güvenliği Arasındaki Tehlikeli Geçiş
Prompt Injection’ın en son OWASP Top 10’da 1 numaralı giriş olarak sıralaması, yazılıma ne yapması gerektiğini (daha iyi veya daha kötü) söyleyen doğrudan bir doğal dil komutu işlevi göz önüne alındığında şaşırtıcı değildi. Ancak kurumsal düzeyde çok daha önemli bir etkiye sahip olan Tedarik Zinciri Zafiyetleri 3. sırada yer aldı.
OWASP’ın tavsiyesi, bu güvenlik açığı kategorisini içeren çeşitli saldırı vektörlerinden; arka kapılar, kötü amaçlı yazılımlar ve zehirli verilerle önceden tehlikeye atılmış önceden eğitilmiş modellerin uygulanması gibi unsurlardan veya savunmasız LoRA adaptörleri bunlar ironik bir şekilde verimliliği artırmak için kullanılır, ancak sonuçta temel LLM’yi tehlikeye atabilir. Bunlar, kullanıldıkları tüm tedarik zincirine nüfuz edebilecek potansiyel olarak ciddi, yaygın sömürülebilir sorunları ortaya koyuyor.
Ne yazık ki çoğu geliştirici, bu sorunları güvenli bir şekilde çözebilecek kadar beceri ve süreç açısından etkin değil ve bu, iş mantığı kusurları için yapay zeka tarafından oluşturulan kodu değerlendirirken daha da belirgindir. Açıkça görüldüğü gibi, özel olarak bir kategori olarak listelenmemiş olsa da OWASP’ın En İyi 10 Webi Uygulama Güvenliği Riskleribu kısmen No. 6, Aşırı Etki kapsamında ele alınmaktadır. Çoğu zaman bir geliştirici, özellikle test ortamlarında daha sorunsuz çalışması için LLM’ye aşırı ayrıcalık tanıyacak veya gerçek kullanıcıların yazılımla nasıl etkileşime gireceğini yanlış yorumlayarak onu istismar edilebilir mantık hatalarına karşı savunmasız bırakacaktır. Bunlar da tedarik zinciri uygulamalarını etkiler ve genel olarak geliştiricinin bunların üstesinden gelmek için eleştirel düşünme ve tehdit modelleme ilkelerini uygulamasını gerektirir. Kontrolsüz yapay zeka aracı kullanımı veya mevcut kod tabanlarına yapay zeka destekli katmanların eklenmesi, genel karmaşıklığı artırır ve geliştiricinin yönlendirdiği önemli bir risk alanıdır.
Verilerin Açığa Çıkması Ciddi Farkındalık Gerektiren Ciddi Bir Sorundur
Hassas Bilgilerin İfşa Edilmesi yeni listede ikinci sırada yer alıyor ancak kurumsal güvenlik liderleri ve geliştirme yöneticileri için temel endişe konusu olmalıdır. OWASP’ın işaret ettiği gibi, bu vektör hem LLM’nin kendisini hem de uygulama bağlamını etkileyebilir. kişisel olarak tanımlanabilir bilgilerin (PII) açığa çıkmasıve özel algoritmaların ve iş verilerinin ifşa edilmesi.
Teknolojinin işleyişinin doğası gereği, bu verileri açığa çıkarmanın, kod düzeyindeki bir güvenlik açığını etkin bir şekilde “hacklemek” yerine kurnaz yönlendirmeler kullanmak kadar basit olduğu anlamına gelebilir ve “büyükanne istismarı“, yürütülebilir istemler üzerindeki gevşek güvenlik kontrolleri nedeniyle hassas verilerin açığa çıkmasının başlıca örneğidir. Burada ChatGPT, yatmadan önce hikaye okuyan bir büyükanne rolünü üstlenmesi istendiğinde napalm tarifini ifşa edecek şekilde kandırıldı. Benzer bir teknik çıkarmak için de kullanıldı Windows 11 tuşları.
Bunun mümkün olmasının bir nedeni, özel eğitim verilerini açığa çıkarabilen, daha sonra güvenlik kontrollerini atlatmak için ters saldırılarda kullanılabilen kötü yapılandırılmış model çıktılarıdır. Bu, eğitim verilerini kendi LLM’lerine besleyenler için yüksek riskli bir alandır ve teknolojinin kullanımı şirket çapında, rol bazlı güvenlik farkındalığı becerilerinin geliştirilmesini gerektirir. Platformu oluşturan geliştiricilerin, girdi doğrulama ve veri temizleme konusunda bilgili olması gerekir (bu beceriler, kodu işlemeden önce doğrulanır ve değerlendirilir) ve Her Son kullanıcı, daha sonraki bir tarihte ortaya çıkabilecek hassas verilerin verilmesini önlemek için eğitilmelidir.
On binlerce çalışanın yanlışlıkla hassas verilerin ifşa edilmesine katılma potansiyeli nedeniyle bu durum, hükümet veya işletme düzeyinde küçük ölçekte önemsiz görünse de, ele alınması gereken, zaten hantal olan saldırı yüzeyinin önemli ölçüde genişlemesidir.
Almayla Artırılmış Üretime (RAG) Dikkat Ediyor musunuz?
2025 listesinin belki de en dikkate değer yeni girişi, 8. sırada yer alan Vektör ve Gömme Zayıf Yönleri’nde yer alıyor. Yazılım mimarisinin bir parçası olarak sıklıkla RAG teknolojisini kullanan kurumsal LLM uygulamaları nedeniyle bu, sektörün yakından ilgilenmesi gereken bir güvenlik açığı kategorisidir.
RAG, genellikle önceden eğitilmiş modeller ile dış bilgi kaynakları arasında bağlamsal ipuçları sağlayan “tutkal” görevi görerek model performansının geliştirilmesi için gereklidir. Bu, vektörlerin ve yerleştirmelerin uygulanmasıyla mümkün olur, ancak güvenli bir şekilde uygulanmazlarsa, Felaket verici veri ifşasıveya ciddi veri zehirlenmesine ve yerleştirme saldırılarına yol açabilir.
Hem temel iş mantığının hem de en az ayrıcalıklı erişim kontrolünün kapsamlı bir şekilde anlaşılması, dahili modeller üzerinde çalışan geliştiriciler için bir güvenlik becerileri temeli olarak düşünülmelidir. Ancak gerçekçi olmak gerekirse, en iyi senaryo, kapsamlı tehdit modellemesi gerçekleştirmek ve yeterli düzeyde günlük kaydı ve izleme sağlamak için en yüksek performansa sahip, güvenlik becerisine sahip geliştiricilerin ve onların AppSec meslektaşlarının kullanılmasını içerecektir.
Tüm LLM teknolojilerinde olduğu gibi, bu büyüleyici bir gelişen alan olsa da, yüksek düzeyde güvenlik bilgisi ve özenle oluşturulmalı ve kullanılmalıdır. Bu liste, mevcut tehdit ortamı için güçlü ve güncel bir temel oluşturmaktadır ancak ortam kaçınılmaz olarak büyüyecek ve hızla değişecektir. Geliştiricilerin uygulama oluşturma şeklinin önümüzdeki birkaç yıl içinde artacağı kesindir, ancak sonuçta hem yapay zeka hem de insan hatası riskini azaltmak için gereken eleştirel düşünceyle çalışan sezgisel, güvenlik odaklı bir geliştiricinin yerini hiçbir şey tutamaz. .