Yeni araştırmalara göre, kuruluşların üretken yapay zekayı benimseme telaşı, ChatGPT gibi büyük dil modeli (LLM) tabanlı teknolojilerin özellikle açık kaynak geliştirme alanında ve yazılım tedarik zinciri genelinde ortaya çıkardığı önemli güvenlik tehditlerini görmezden geliyor olabilir.
Rezilion tarafından 28 Haziran’da yayınlanan bir rapor, açık kaynak ortamının LLM’lere karşı mevcut tutumunu, özellikle popülerlik, olgunluk ve güvenlik duruşları açısından araştırdı. Araştırmacıların bulduğu şey, bu teknolojinin açık kaynak topluluğu arasında hızlı bir şekilde benimsenmesine rağmen (yalnızca GitHub’da 30.000 GPT ile ilgili proje ile), geliştirilmekte olan ilk projelerin genel olarak güvensiz olduğu ve bunun da önemli güvenlikle birlikte artan bir tehdide yol açtığıdır. kuruluşlar için risktir.
Güvenlik açığı araştırma direktörü Yotam Perkal, üretken yapay zekanın sektörde hızla benimsenmeye devam etmesi ve teknolojinin geliştirilmesi ve sürdürülmesindeki güvenlik standartlarını ve uygulamalarını iyileştirmek için anında yanıt talep etmesi nedeniyle bu riskin yalnızca kısa vadede artacağını söylüyor. Rezilion.
Dark Reading’e “LLM’leri çevreleyen güvenlik standartlarında ve uygulamalarında önemli iyileştirmeler olmadan, hedefli saldırı olasılığı ve bu sistemlerdeki güvenlik açıklarının keşfedilmesi artacaktır” dedi.
Ekip, araştırmasının bir parçası olarak GitHub’daki en popüler 50 GPT ve LLM tabanlı açık kaynak projesinin güvenliğini araştırdı ve geliştirme süreleri iki ila altı ay arasında değişiyor. Buldukları şey, geliştiriciler arasında son derece popüler olmalarına rağmen, göreceli olgunlaşmamışlıklarının genel olarak düşük bir güvenlik derecelendirmesiyle eşleştirildiğidir.
Perkal, geliştiricilerin işletme için yeni üretken yapay zeka tabanlı teknoloji geliştirmek için bu projelere güvenmeleri halinde, kuruluşların savunmaya hazır olmadığı daha fazla potansiyel güvenlik açığı yaratabileceklerini söylüyor.
“Bu sistemler popülerlik ve benimsenme kazandıkça, saldırganlar için çekici hedefler haline gelmeleri kaçınılmazdır ve bu da önemli güvenlik açıklarının ortaya çıkmasına neden olur” diyor.
Kilit Risk Alanları
Araştırmacılar, üretken yapay zekanın açık kaynak topluluğunda benimsenmesinin sunduğu, gruplar arasında bazı örtüşmelerle birlikte dört temel üretken yapay zeka güvenlik riski alanı belirledi:
- Güven sınırı riski;
- Veri yönetimi riski;
- Yapısal model riski;
- Ve temel güvenlik en iyi uygulamaları.
Güven sınırları açık kaynak geliştirmede, kuruluşların bir uygulamanın bileşenlerinin ve verilerinin güvenliğine ve güvenilirliğine güvenebilecekleri güven bölgeleri oluşturmasına yardımcı olur. Bununla birlikte, kullanıcılar LLM’lerin veritabanları, arama arayüzleri veya harici bilgi işlem araçları gibi harici kaynakları kullanmasını sağladıkça – böylece işlevlerini büyük ölçüde geliştirir – LLM tamamlama çıktılarının doğasında bulunan öngörülemezlik, kötü niyetli aktörler tarafından kullanılabilir.
Araştırmacılar, “Bu endişeyi yeterince ele almamak, bu modellerle ilişkili riskleri önemli ölçüde artırabilir” diye yazdı.
Veri yönetimi riskleri Araştırmacılar, veri sızıntısı ve eğitim verisi zehirlenmesi gibi, yalnızca üretici yapay zeka ile değil, herhangi bir makine öğrenimi (ML) sistemi ile çalışırken geliştiriciler tarafından ele alınmadığı takdirde işletmeleri riske maruz bırakıyor. LLM, yanıtlarındaki hassas bilgileri, tescilli algoritmaları veya diğer gizli verileri istemeden sızdırmakla kalmaz, aynı zamanda tehdit aktörleri, güvenlik açıklarını, arka kapıları veya önyargıları ortaya çıkarmak için bir LLM’nin eğitim verilerini kasıtlı olarak zehirleyebilir; model, araştırmacılar uyardı.
İçsel altta yatan model riskleri bu arada, en önemli LLM güvenlik sorunlarından ikisini açıklamaktadır: yetersiz yapay zeka hizalaması ve LLM tarafından üretilen içeriğe aşırı güvenme. Araştırmacılar raporda “Aslında, ChatGPT’nin yaratıcısı OpenAI, kullanıcılarını ana ChatGPT arayüzünde bu riskler konusunda uyarıyor” dedi.
Bu riskler, Vulcan Cyber’den Voyager18 araştırmacılarının kuruluşları tedarik zinciri saldırılarına açabileceği konusunda zaten uyardığı, genellikle “halüsinasyonlar” olarak adlandırılan yanlış veya uydurma veri kaynakları veya tavsiyeleri döndüren ChatGPT gibi üretici yapay zeka olgusunu ifade eder. Hem Vulcan hem de Rezilion araştırmacıları, bir geliştiricinin var olmayan kod paketleri için önerilerden ChatGPT veya başka bir üretken AI çözümü istediğinde bu durumun ortaya çıkabileceğini belirtti. Saldırgan bunu tanımlayabilir ve bunun yerine geliştiricilerin kullanıp doğrudan bir uygulamaya yazacağı kötü amaçlı bir paket yayınlayabilir.
Kötü niyetli niyetin farkında olmayan diğer kullanıcılar, ChatGPT’ye benzer sorular sorabilir ve AI modeli kod manipülasyonundan habersiz olduğu için risk buradan tedarik zinciri boyunca yayılır, dediler. Araştırmacılar, “Sonuç olarak, şüphelenmeyen kullanıcılar önerilen paketi bilmeden benimseyerek sistemlerini ve verilerini riske atabilir” diye yazdı.
Ve son olarak, genel güvenlik en iyi uygulama riski, uygunsuz hata işleme veya yetersiz erişim kontrolleri alanlarında (LLM’lere veya Makine Öğrenimi modellerine özgü olmayan) üretken yapay zekanın açık kaynak olarak benimsenmesinden kaynaklanır. Araştırmacılar, bir saldırganın hassas bilgileri veya sistem ayrıntılarını toplamak için LLM hata mesajlarındaki bilgilerden yararlanabileceğini ve daha sonra bunları hedefli bir saldırı başlatmak veya bilinen güvenlik açıklarından yararlanmak için kullanabileceğini söyledi. Yetersiz erişim denetimleri ayrıca, sınırlı izinlere sahip kullanıcıların amaçlanan kapsamın ötesinde eylemler gerçekleştirmesine izin vererek potansiyel olarak sistemi tehlikeye atabilir.
Kuruluşlar Nasıl Hazırlanabilir, Riski Azaltabilir
Rezilion araştırmacıları, kuruluşların bu risklerin her birini azaltabilecekleri belirli yöntemlerin yanı sıra, açık kaynak topluluğu yeni nesil yazılım geliştirme için bu modelleri benimsemeye devam ederken nasıl hazırlanabileceklerine dair genel tavsiyeler sundu.
Perkal, bu hazırlığın ilk adımının, üretken yapay zeka ve LLM’leri entegre etmenin, kuruluşların daha önce karşılaştığı her şeyden farklı olabilecek benzersiz zorluklar ve güvenlik endişeleri ile birlikte geldiği konusunda farkındalık olduğunu söylüyor. Ayrıca, LLM risklerini hazırlama ve azaltma sorumluluğunun yalnızca teknolojiyi entegre eden kuruluşlara değil, aynı zamanda bu sistemlerin oluşturulmasına ve sürdürülmesine dahil olan geliştiricilere de ait olduğunu belirtiyor.
Bu nedenle, kuruluşların üretken yapay zeka tabanlı sistemleri uygularken Perkal’ın “tasarım gereği güvenli” dediği yaklaşımı benimsemesi gerektiğini söylüyor. Perkal, bunun, güvenlik önlemlerini doğrudan AI sistemlerine dahil etmek için Secure AI Framework (SAIF), NeMo Guardrails veya MITRE ATLAS gibi mevcut çerçevelerden yararlanmayı gerektirdiğini söylüyor.
Ayrıca, kuruluşların LLM etkileşimlerini izlemesi ve günlüğe kaydetmesi ve olası güvenlik ve gizlilik sorunlarını tespit etmek için yapay zeka sisteminin yanıtlarını düzenli olarak denetlemesi ve gözden geçirmesi ve ardından LLM’yi buna göre güncellemesi ve ince ayar yapması “zorunlu”.