Uygulama programlama arayüzleri (API’ler), üretken yapay zekanın (GenAI) aracılarla nasıl çalıştığı (örneğin veri için onları çağırma) açısından önemlidir. Ancak API ve LLM sorunlarının hızlı kullanıma sunulmasıyla bir araya gelmesiyle çok sayıda kuruluşun güvenlik sorunlarıyla mücadele etmek zorunda kalması muhtemeldir.
GenAI, kimlik doğrulama, yetkilendirme ve verilerin açığa çıkması gibi API’lerle ilişkili olağan güvenlik sorunlarına karşı hassas olsa da, OWASP Projesi’nin LLM Uygulamalarına ve Üretken Yapay Zeka’ya Yönelik İlk 10 Tehdit arasında iyi bir şekilde belgelenen yapay zekaya özgü endişeler de vardır.
Yapay zeka ve API saldırıları nasıl uyum sağlıyor?
OWASP listesinin en üstünde, veri sızdırma vb. amaçlarla çıktıyı manipüle etmek için LLM’ye yerleştirilen kötü amaçlı kod biçimindeki komutları gören istem enjeksiyonu (LLM01) bulunur. Bu saldırı, doğrudan sistem istemi aracılığıyla gerçekleştirilebilir. veya dolaylı olarak LLM’nin başvurduğu web siteleri gibi harici kaynaklar aracılığıyla.
İstem enjeksiyonu, LLM’yi diğer kullanıcı hesaplarını silmesi veya kullanıcılar aracılığıyla numaralandırması için kandırmak için kullanılabilir çünkü istenen bilgi için arka uç API’lerini çağırırken kullanıcı talimatını güvenilir olarak değerlendirir. Bu nedenle listedeki ikinci sorunla sonuçlanabilir: güvenli olmayan çıktı işleme (LLM02), yani LLM tarafından üretilen çıktıların daha sonra aşağı yönde aktarılması. Bu nedenlerden dolayı giriş doğrulayıcıları, çıkış korumaları ve içerik filtreleme gibi kontrollerin uygulamaya konması gerekir.
API’lerle ilgili bir diğer önemli konu da hizmet reddi modelidir (LLM04). OWASP En İyi 10 API Güvenlik Riskinde (sınırsız kaynak tüketimi (API4) ve hassas iş akışlarına sınırsız erişim (API6)) dile getirilen sorunlara benzer şekilde, bu durum LLM’nin isteklerle dolup taştığını gösteriyor. Saldırı, işletmeyi etkin bir şekilde kaynakları istekleri yanıtlamaya ayırmaya ve dolayısıyla harcama yapmaya zorlar ve diğer kullanıcıların hizmet kalitesinde bir düşüş görebilir. Bu saldırılar, örneğin hız sınırlamasını değiştirerek API’lerin sınırlamalarından da yararlanabilir; bu da daha sonra hacimsel bir saldırıda API’nin isteklerle dolup taşmasına neden olabilir. Bu tehdide karşı koymanın, birden çok bileşenle isteklerin ne kadar hızlı karşılanacağına sınır koymak veya sınırlar koymaktan, API hız sınırlarını uygulamaya ve ağdaki kaynak kullanımını izlemeye kadar çeşitli yollar vardır.
Elbette, GenAI ile ilgili temel endişelerden biri, hassas bilgileri sızdırma potansiyelidir; bu nedenle birçok özel sağlayıcının, teknolojiyi ticari bir ortamda dağıtmadan önce erişim ayrıcalıklarını kilitleme ihtiyacını vurguladığını gördük. Hassas bilgilerin ifşa edilmesi (LLM06), LLM’nin erişebildiği verileri sınırlama ihtiyacını ifade eder. Bunun nedeni, sistem istemlerini kısıtlamanın bile LLM’nin hızlı enjeksiyon nedeniyle hassas verileri ifşa etme konusunda kandırılmayacağına dair hiçbir garanti vermemesidir. Yani en basit çözüm eğitim modeline veri girmesini engellemektir.
Henüz bilmediğimiz şey, bu istemi yanıtlayacak verileri sağlayan API’nin güvenliği ihlal edilirse ne olacağıdır? Bozuk nesne özelliği düzeyinde yetkilendirme (API3), yetkisiz bir isteğin ardından API’lerin hassas bilgileri döndürdüğünü görebilir.
İlk 10’da yer alan son fakat kesinlikle en az sorun olmayan konu model hırsızlığıdır (LLM10), bu da tescilli bir modelin tamamının ve onun mahrem olduğu hassas fikri mülkiyetin tehlikeye atılması anlamına gelir. Bu, ağ veya sistem ayarlarındaki yanlış yapılandırmadan yararlanılarak, yan kanal saldırısına veya içeriden kötü niyetli bir kişi tarafından gerçekleştirilmeye kadar çeşitli şekillerde gerçekleşebilir. Ancak verilen örneklerden biri de API aracılığıyladır: OWASP Projesi, saldırganın hazırlanmış girdileri ve istem enjeksiyonunu kullanarak model API’sini sorgulayabileceğini ve çıktıyı bir gölge model oluşturmak için kullanabileceğini öne sürüyor. Bunu önlemek için güçlü erişim kontrolleri uygulamak, ağ kaynaklarına ve API’lere LLM erişimini kısıtlamak, API’leri derecelendirmek ve sızıntı riskini azaltmak için filtreler eklemek gerekir.
CVE’ler ve PoC’ler
Bu tür saldırılar artık tamamen teorik değil; Özellikle LLM06 (hassas bilgilerin ifşa edilmesi) ile ilgili olarak bir dizi sorun halihazırda belgelenmiştir.
Mart ayında, yapay zekanın kimlik doğrulamayı zorunlu kılmaması veya yetkilendirme modellerini desteklememesi nedeniyle Ray AI çerçevesinden bir iş gönderme API’si aracılığıyla yararlanılabileceği ortaya çıkmıştı. Bunun nedeni, Ray’in eriştiği sistem ve hizmetlerin güvenliğinden sorumlu kullanıcılarla tasarlanmasıdır, ancak amaç daha sonra kimlik doğrulama eklemektir. Ancak bu arada CVE, kimlik bilgilerinin yanı sıra kümede tutulan tüm notları almak için API’ye yapılan çağrıları da etkinleştirdi.
Aynı ay içinde, Google’ın üç farklı boyutta (Nano, Pro ve Ultra) sunulan Gemini LLM’sinin (eski adıyla Bard) da tehlikeye girebileceğini öğrendik. Bir araştırmacı çok sayıda güvenlik açığını ortaya çıkardı ve Gemini Pro API kullanan geliştiricileri “sistem komutlarının sızdırılabileceği, LLM kullanan programın iç işleyişinin ortaya çıkarılabileceği ve potansiyel olarak daha fazla hedefe yönelik saldırılara olanak sağlayabileceği” konusunda uyardı. Bulgular, Gemini Pro’yu kullanmak isteyen işletmelerin LLM sistem istemlerini sızdırma riskiyle karşı karşıya olduğu anlamına geliyordu.
Veri sızıntısı, geçen ay araştırmacılar tarafından Flowise düşük kodlu LLM oluşturucuyla ilgili bir sorun olarak da vurgulandı. Platformun, sunucudaki REST-API uç noktaları aracılığıyla kimlik doğrulamayı atlamaya açık eski bir sürümünü keşfettiler. API tarafından döndürülen hata mesajı, araştırmacıların kimlik doğrulamaya ihtiyaç duymadan API’ye etkili bir şekilde erişmesini sağladı ve daha sonra 438’i savunmasız olan 959 Flowise sunucusunu görüntüleyebildiler.
Daha sonra API uç noktalarıyla etkileşime girebildiler ve herhangi bir erişim iznine gerek kalmadan alınabilecek verileri tanımlayabildiler. Buna API anahtarları, GitHub erişim belirteçleri ve veritabanı parolalarına sahip URL’lerin yanı sıra uygulamalarla ilişkili tüm yapılandırmalar ve LLM istemleri de dahildi.
Saldırılara karşı savunma
Bu sorunların çözümüne yardımcı olmak için LLM sağlayıcıları, OWASP Top 10’da tanımlanan saldırı türlerine karşı nasıl savunma yapılacağı konusunda LLM’yi tespit etmek ve eğitmek için sistemlerini test eden kırmızı ekiptir.
Ancak LLM’leri test etmek, güvenlik açıklarından yararlanılıp yararlanılamayacağını ve/veya verilerin sızdırılıp sızdırılamayacağını görmek açısından kritik öneme sahip olsa da yeterli değildir. Yaşam döngüsünü tamamlamak için, hassas verilerin açığa çıkmasının kimliği doğrulanmış ve yetkili görüntüleyicilerle sınırlı olduğundan emin olmak için LLM’lere hizmet veren API’lerin tüm etkinlikleri izlenmelidir. Çalışma zamanı izlemesi, saldırganların iş mantığını ve içindeki kusurları keşfederek verileri sızdırmaya çalıştığı güvenlik açığı istismarlarına ve daha da tehlikeli olan iş mantığının kötüye kullanılması tehdidine kadar uzanmalıdır; LLM’ler yeni kusurları ortaya çıkaracaktır. Bu tür senaryolarda kullanılabilecek veriler göz önüne alındığında, hızlı yerel yanıt herhangi bir güvenlik platformu için kritik öneme sahiptir.
Ancak endişelenmeleri gereken yalnızca verilere erişmeyi amaçlayan saldırılar değil; LLM10 (model hırsızlığı) kapsamında tanımlandığı gibi altyapının kendisi de birincil hedeftir.
NCSC yakın zamanda organize suç çetelerini yapay zekadan yararlanma konusunda engelleyen tek şeyin eğitim modellerine erişim olduğu konusunda uyardı ve güvenlik araştırmacıları yakın zamanda LLMjacking’e başvurarak bu sorunu çözdüklerini keşfetti. Geliştiricilerin bir LLM’yi hızlı bir şekilde başlatmasına olanak tanıyan bulutta barındırılan birçok LLM’nin, muhtemelen bir ücret karşılığında erişim sunmak amacıyla erişim kimlik bilgilerini ve kotalarını belirlemeye çalışan saldırganlar tarafından hedef alındığını keşfettiler. Yüksek Lisans daha sonra müşterinin pahasına kullanılabilir ve araştırmacılar bunun günlük 46.000 dolara kadar mal olabileceğini iddia ediyor. Saldırganlar LLM’lere nasıl erişebildi? Meşru API isteklerini kullanarak ve tespit edilmeden tolere edilebilecek limitleri veya parametreleri test ederek.
Yüksek Lisans’lar, hassas verilere erişme yetenekleri ve işleme yetenekleri nedeniyle açıkça cazip bir hedeftir ve bu da modele erişimi başlı başına kazançlı hale getirir. Yanıt vermesi için üçüncü taraf araçlara verilen talimatlara güvenmek çok geç olacak ve kötü niyetli aktör, muhtemelen Yüksek Lisans’ları kullanarak çoktan hareket etmiş olacak. Yüksek Lisans’lar işletmelerin işlevselliği ve müşteri deneyimini geliştirmesine olanak tanırken, aynı zamanda saldırganların yararlanabileceği yeni fırsatlar da açar. Burada kısa bir yol yoktur ve Yüksek Lisans kullananlar her şeyin güvenli olduğunu varsaymamalıdır.