2025 Yüksek Lisans Dereceleri için OWASP İlk 10: GenAI Riskleri Nasıl Gelişiyor?

İşte HackerOne’ın LLM güvenlik açıklarına ilişkin İlk 10 listesine, listenin nasıl değiştiğine ve bu risklere karşı korunmaya hangi çözümlerin yardımcı olabileceğine ilişkin bakış açısı.

LLM güvenlik açığına göre göz atın:

1. Hızlı Enjeksiyon
2. Hassas Bilgilerin Açıklanması
3. Tedarik Zinciri Açıkları
4. Veri ve Model Zehirlenmesi
5. Yanlış Çıktı İşleme
6. Aşırı Ajans
7. Sistem İstemi Sızıntısı
8. Vektör ve Gömme Zayıf Yönleri
9. Yanlış bilgi
10. Sınırsız Tüketim

Yüksek Lisans için OWASP İlk 10: 2024 ve 2025

LLM01: Hızlı Enjeksiyon

Pozisyon değişikliği: Hiçbiri

Hızlı Enjeksiyon Nedir?

En sık tartışılan LLM güvenlik açıklarından biri olan Prompt Injection, bir saldırganın güvenilir bir LLM’nin çalışmasını hazırlanmış girdiler aracılığıyla doğrudan veya dolaylı olarak manipüle ettiği bir güvenlik açığıdır. Örneğin, bir saldırgan, kötü amaçlı ve dolaylı bilgi istemi enjeksiyonu içeren bir web sayfasını özetlemek için Yüksek Lisans’tan yararlanır. Enjeksiyon, “önceki tüm talimatları unut” ve özel veri depolarını sorgulamak için yeni talimatlar içeriyor ve bu da LLM’nin hassas veya özel bilgileri ifşa etmesine yol açıyor.

Hızlı Enjeksiyon Çözümleri

Aşağıdakiler de dahil olmak üzere çeşitli eylemler İstemi Ekleme güvenlik açıklarının önlenmesine katkıda bulunabilir:

• Arka uç sistemine LLM erişiminde ayrıcalık kontrolünün uygulanması
• Harici içeriği kullanıcı istemlerinden ayırma
• Genişletilebilir işlevsellik için insanları döngünün içinde tutmak

LLM02: Hassas Bilgilerin Açıklanması

Pozisyon değişikliği: ↑4

Hassas Bilgilerin İfşa Edilmesi Nedir?

Hassas Bilgilerin İfşa Edilmesi, LLM’lerin yanlışlıkla gizli verileri açığa çıkarmasıdır. Bu, özel algoritmaların, fikri mülkiyetin ve özel veya kişisel bilgilerin açığa çıkmasına neden olarak gizlilik ihlallerine ve diğer güvenlik ihlallerine yol açabilir. Hassas Bilgilerin İfşa Edilmesi, şüphelenmeyen meşru bir kullanıcının LLM uygulamasıyla kötü niyetli olmayan bir şekilde etkileşimde bulunurken diğer kullanıcı verilerine maruz kalması kadar basit olabilir. Ancak bu aynı zamanda daha riskli de olabilir; örneğin bir kullanıcının, LLM’deki giriş filtrelerini atlayarak kişisel olarak tanımlanabilir bilgileri (PII) açığa çıkarmasını sağlamak için iyi hazırlanmış bir istem kümesini hedeflemesi gibi. Her iki senaryo da ciddidir ve her ikisi de önlenebilir.

Neden Taşınma?

LLM’lerin çeşitli sistemlere (veritabanları, dahili sorun izleyicileri, dosyalar vb.) kolay entegrasyonuyla, hassas bilgilerin ifşa edilmesi riski önemli ölçüde arttı. Saldırganlar, çalışanların maaş bordroları, Kişisel Tanımlayıcı Bilgiler (PII), sağlık kayıtları ve gizli iş verileri gibi hassas verileri çıkarmak için özel istemler hazırlayarak bu entegrasyonlardan yararlanabilir. Yeterli risk değerlendirmeleri olmadan yüksek lisansların organizasyonel iş akışlarında hızlı bir şekilde benimsenmesi göz önüne alındığında, bu konunun önemi daha da artmıştır.

Hassas Bilgilerin İfşa Edilmesine Yönelik Çözümler

Hassas bilgilerin ifşa edilmesini önlemek için kuruluşların şunları yapması gerekir:

• Yeterli veri giriş/çıkış temizleme ve temizleme tekniklerini entegre edin
• Sağlam girdi doğrulama ve temizleme yöntemlerini uygulayın
• Modelleri eğitirken en az ayrıcalık ilkesini uygulayın
• Olası hassas bilgilerin ifşa edilmesi sorunlarını belirlemek için bilgisayar korsanı tabanlı rekabet testlerinden yararlanın

LLM03: Tedarik Zinciri Güvenlik Açıkları

Pozisyon değişikliği: ↑2

Tedarik Zinciri Güvenlik Açıkları Nelerdir?

LLM’lerdeki tedarik zinciri savunmasız olabilir ve eğitim verilerinin, Makine Öğrenimi (ML) modellerinin ve dağıtım platformlarının bütünlüğünü etkileyebilir. LLM’lerdeki Tedarik Zinciri Güvenlik Açıkları taraflı sonuçlara, güvenlik ihlallerine ve hatta komple sistem arızalarına yol açabilir. Geleneksel olarak tedarik zincirindeki güvenlik açıkları üçüncü taraf yazılım bileşenlerine odaklanır, ancak LLM dünyasında tedarik zinciri saldırı yüzeyi, duyarlı önceden eğitilmiş modeller, üçüncü taraflarca sağlanan zehirli eğitim verileri ve güvenli olmayan eklenti tasarımı yoluyla genişletilir.

Neden Taşınma?

Uygun maliyetli ve performanslı LLM’lere olan talep, açık kaynak modellerin ve üçüncü taraf paketlerin kullanımında artışa yol açtı. Ancak birçok kuruluş bu bileşenleri yeterince incelemede başarısız oluyor ve bu da onları tedarik zinciri saldırılarına karşı savunmasız bırakıyor. Doğrulanmamış modellerin, güncelliğini yitirmiş veya kullanımdan kaldırılmış paketlerin veya güvenliği ihlal edilmiş eğitim verilerinin kullanılması, arka kapıların, önyargıların ve diğer güvenlik kusurlarının ortaya çıkmasına neden olabilir. Bu risklerin ve olası yasal sonuçların azaltılmasında güvenli bir tedarik zincirinin öneminin bilincinde olarak, bu güvenlik açığı listede üst sıralara çıktı.

Tedarik Zinciri Zafiyetlerine Çözümler

LLM’lerdeki Tedarik Zinciri Güvenlik Açıkları aşağıdaki yöntemlerle önlenebilir ve tanımlanabilir:

• Veri kaynaklarını ve tedarikçileri dikkatlice incelemek
• Yalnızca özel uygulamanıza ve kullanım durumlarınıza uygun şekilde kapsamı belirlenmiş saygın eklentileri kullanma
• Yeterli izleme, rekabet testi ve uygun yama yönetiminin gerçekleştirilmesi

LLM04: Veri ve Model Zehirlenmesi

Pozisyon değişikliği: ↓1

Veri ve Model Zehirlenmesi Nedir?

Eğitim verilerinin zehirlenmesi, güvenlik açıkları, arka kapılar veya önyargılar ortaya çıkaracak ve modelin güvenliğini, etkinliğini veya etik davranışını tehlikeye atabilecek verilerin manipülasyonu veya süreçlerde ince ayar yapılması anlamına gelir. Eğitim verilerine müdahale edilmesi, modelin doğru tahminler üretme yeteneğini etkilediği için bu bir bütünlük saldırısı olarak kabul edilir.

Veri ve Mod Zehirlenmesine Çözümler

Kuruluşlar Eğitim Verisi Zehirlenmesini aşağıdaki yöntemlerle önleyebilir:

• Eğitim verilerinin tedarik zincirinin, hedeflenen eğitim verilerinin meşruluğunun ve LLM ile entegre uygulamanın kullanım senaryosunun doğrulanması
• Modelin istenmeyen veri kaynaklarını kazımasını önlemek için yeterli korumalı alanın sağlanması
• Belirli eğitim verileri veya veri kaynağı kategorileri için sıkı inceleme veya giriş filtreleri kullanın

LLM05: Yanlış Çıktı İşleme

Pozisyon değişikliği: ↓3

Güvenli Olmayan Çıktı İşleme Nedir?

Güvenli Olmayan Çıkış İşleme, bir LLM çıktısı inceleme yapılmadan kabul edildiğinde ortaya çıkar ve potansiyel olarak arka uç sistemlerini açığa çıkarır. LLM tarafından oluşturulan içerik anlık girişle kontrol edilebildiğinden, bu davranış, kullanıcılara LLM çıktısını doğrudan arka uç, ayrıcalıklı veya istemci tarafı işlevlerine geçirmek gibi ek işlevlere dolaylı erişim sağlamaya benzer. Bu, bazı durumlarda XSS, CSRF, SSRF, ayrıcalık yükseltme veya uzaktan kod yürütme gibi ciddi sonuçlara yol açabilir.

Yanlış Çıktı İşleme Çözümleri

Güvenli Olmayan Çıktı İşlemeyi önlemenin üç temel yolu vardır:

• Model çıktısını diğer güvenilmeyen kullanıcı içeriği gibi ele alma ve girdileri doğrulama
• İstenmeyen kod yorumlarını azaltmak için modelden kullanıcılara geri gelen kodlama çıktısı
• Güvenli olmayan çıktıları ortaya çıkarmak ve daha güvenli çıktı fırsatlarını belirlemek için sızma testi

LLM06: Aşırı Temsiliyet

Pozisyon değişikliği: ↑2

Aşırı Ajanlık Nedir?

Aşırı Ajans genellikle aşırı işlevsellik, aşırı izinler ve/veya aşırı özerklikten kaynaklanır. Bu faktörlerin bir veya daha fazlası, bir LLM’den beklenmeyen veya belirsiz çıktılara yanıt olarak zarar verici eylemlerin gerçekleştirilmesine olanak tanır. Bu, LLM’nin arızalanmasına neyin sebep olduğuna bakılmaksızın (konfabülasyon, anında enjeksiyon, kötü tasarlanmış istemler vb.) gerçekleşir ve gizlilik, bütünlük ve kullanılabilirlik yelpazesinde etkiler yaratır.

Aşırı Acenteliğe Çözümler

Aşırı Aracılığın güvenlik açığından kaçınmak için kuruluşların şunları yapması gerekir:

• Araçları, işlevleri ve izinleri yalnızca Yüksek Lisans için gerekli olan minimum düzeyde sınırlayın
• Aşırı işlevsellikten kaçınmak için işlevlerin, eklentilerin ve API’lerin kapsamını sıkı bir şekilde belirleyin
• Büyük ve hassas eylemler için insan onayına ihtiyaç duyun, bir denetim günlüğünden yararlanın

LLM07: Sistem İstemi Sızıntısı

Pozisyon değişikliği: Yeni

Sistem İstemi Sızıntısı Nedir?

Bu yeni giriş, hassas bilgilerin sistem istemlerine yerleştirilmesiyle ilişkili risklere ilişkin artan farkındalığı yansıtıyor. LLM davranışını yönlendirmek için tasarlanan sistem istemleri, dikkatli bir şekilde oluşturulmadığı takdirde yanlışlıkla sırları sızdırabilir. Saldırganlar, daha sonraki saldırıları kolaylaştırmak için sızdırılan bu bilgilerden yararlanabilir.

Sistem İstemi Sızıntısına Çözümler

Sistem İstemi Sızıntısını önlemenin aşağıdakiler dahil birçok yöntemi vardır:

• Hassas verileri hiçbir zaman sistem istemlerine yerleştirmeyin
• Korkulukları uygulayın
• Sıkı davranış kontrolü için sistem istemlerine güvenmekten kaçının

LLM08: Vektör ve Gömme Zayıflıkları

Pozisyon değişikliği: Yeni

Vektör ve Gömme Zayıflıkları Nedir?

LLM’ler bilgiyi temsil etmek ve işlemek için vektör yerleştirmelerine güvenir. Bu vektörlerin oluşturulması, saklanması veya alınmasındaki zayıflıklar, zararlı içerik eklemek, model çıktılarını değiştirmek veya hassas verilere erişmek için kullanılabilir. Bu, yetkisiz erişime, veri sızıntısına, yerleştirme saldırılarına, veri zehirlenmesine ve davranış değişikliğine yol açabilir.

Vektör ve Gömme Zayıflıklarına Çözümler

Vektör ve Gömme Zayıflıklarını önlemenin bazı önemli yolları şunlardır:

• Ayrıntılı erişim kontrollerini uygulayın
• Bilgi kaynakları için sağlam veri doğrulama ardışık düzenleri uygulayın
• Erişim düzeylerini kontrol etmek ve veri uyumsuzluğu hatalarını önlemek için verileri bilgi tabanında sınıflandırın

LLM09: Yanlış Bilgi

Pozisyon değişikliği: Yeni

Yanlış Bilgi Nedir?

Bu kategori “Aşırı Güven”in yerini alır ve Yüksek Lisans’ların gerçeklere dayalı olarak yanlış veya yanıltıcı bilgi üretme ve yayma potansiyelini ele alır. Aşırı güven bu soruna katkıda bulunurken, odak noktası genellikle halüsinasyonlar veya konfabulasyonlar olarak adlandırılan aktif yanlış bilgi üretimine kayıyor.

Yanlış Bilgiye Çözümler

Yanlış bilgiyi önlemenin en önemli yöntemlerinden bazıları şunlardır:

• LLM çıktılarını her zaman güvenilir harici kaynaklarla çapraz kontrol edin
• Halüsinasyon olasılığını azaltmak için karmaşık görevleri daha küçük, yönetilebilir alt görevlere ayırın
• İnce ayar, ekleme artırma veya diğer tekniklerle çıktı kalitesini iyileştirin

LLM10: Sınırsız Tüketim

Pozisyon değişikliği: Yeni

Sınırsız Tüketim Nedir?

Bu yeni giriş, hesaplama kaynakları, bellek ve API çağrıları dahil olmak üzere LLM çıkarımı sırasında aşırı kaynak tüketimiyle ilişkili riskleri kapsar. Bu, hizmet reddi koşullarına, artan maliyetlere ve potansiyel performans düşüşüne yol açabilir. Daha önce ayrı bir giriş olan model hırsızlığı ve Model Hizmet Reddi, artık bu daha geniş kategorinin bir alt kümesi olarak kabul ediliyor.

Sınırsız Tüketime Çözümler

Sınırsız Tüketimi önlemek için aşağıdakiler de dahil olmak üzere birkaç temel yöntem vardır:

• Kötü niyetli veya aşırı karmaşık sorguları önlemek için kullanıcı girişlerini temizleyin ve doğrulayın
• Bir LLM’nin belirli bir zaman dilimi içinde işleyebileceği taleplerin sayısını kontrol etmek için hız sınırlayıcı mekanizmalar uygulayın
• Kullanıcı rolleri ve izinlerine göre LLM API’lerine ve kaynaklarına erişimi kısıtlayın.
• Modelleri rakip girdilere karşı dayanıklı olacak şekilde eğitin
• LLM’nin ağ kaynaklarına, dahili hizmetlere ve API’lere erişimini kısıtlayan Sandbox Tekniklerini kullanın

Yüksek Lisans’ın Geleceğini Güvenceye Almak

OWASP Vakfı’nın bu yeni sürümü, LLM teknolojisini benimsemek isteyen (veya yakın zamanda bunu yapan) kuruluşların sık karşılaşılan tuzaklara karşı korunmalarını sağlıyor. Çoğu durumda kuruluşlar her güvenlik açığını tespit edemiyor. HackerOne, kuruluşların LLM uygulamalarını güvence altına almalarına ve güvenlik trendleri ve zorluklarına karşı ön sıralarda yer almalarına yardımcı olmaya kararlıdır.

HackerOne’ın çözümleri, zayıf veya kötü LLM uygulamalarından kaynaklanan güvenlik açıklarını ve riskleri belirlemede etkilidir. Bug Bounty aracılığıyla sürekli rekabet testleri gerçekleştirin, Challenge ile hedefli bilgisayar korsanı tabanlı testler gerçekleştirin veya Pentest veya Code Security Audit ile bir uygulamanın tamamını kapsamlı bir şekilde değerlendirin.

LLM’nizi güvence altına almanıza ve LLM güvenlik açıklarına karşı koruma sağlamanıza nasıl yardımcı olabileceğimiz hakkında daha fazla bilgi edinmek için bugün bizimle iletişime geçin.