En son AI modellerini eğitmek için kullanılan işlemcilerin üreticisi olarak Nvidia, üretken AI (GenAI) devrimini benimsedi. Kendi tescilli büyük dil modellerini (LLM’ler) ve birkaç dahili AI uygulamasını çalıştırıyor; sonuncusu, şirketin LLM’leri oluşturmak ve dağıtmak için kullandığı NeMo platformunu ve nesne simülasyonu ve soyu tükenmiş türlerden DNA’nın yeniden yapılandırılması gibi çeşitli AI tabanlı uygulamaları içeriyor.
Gelecek ay Black Hat USA’da ” başlıklı bir oturumdaUygulamalı LLM Güvenliği: Siperlerde Bir Yıldan ÇıkarımlarYonga devinin AI/ML baş güvenlik mimarı Richard Harang, Nvidia ekibinin bu sistemlerde kırmızı takım oluşturmada öğrendiği dersler ve LLM’lere karşı siber saldırı taktiklerinin nasıl gelişmeye devam ettiği hakkında konuşmayı planlıyor. İyi haber şu ki, mevcut güvenlik uygulamalarının bu yeni tehdit sınıfıyla başa çıkmak için çok fazla değişmesi gerekmiyor, ne kadar ayrıcalıklı oldukları için büyük bir kurumsal risk oluştursalar da.
“Geçtiğimiz yıl boyunca, onları nasıl güvence altına alacağımız ve güvenliği sonradan eklemeye çalışmak yerine ilk prensiplerden nasıl oluşturacağımız konusunda çok şey öğrendik,” diyor Harang. “Bunun sonucunda paylaşacağımız çok değerli pratik deneyimimiz var.”
Yapay Zekalar, Farklı Bir Şekilde Tanınabilir Sorunlar Ortaya Koyuyor
İşletmeler giderek artan bir şekilde, genellikle ayrıcalıklı eylemler gerçekleştirebilen entegre AI aracıları biçiminde, yeni nesil AI’ya dayanan uygulamalar oluşturuyor. Bu arada, güvenlik ve AI araştırmacıları, bu ortamlardaki potansiyel zayıflıklara işaret ettiler, Yapay zeka tarafından oluşturulan kod, ortaya çıkan uygulamanın saldırı yüzeyini genişletiyor ile hassas kurumsal verileri ifşa eden aşırı derecede yardımcı sohbet robotlarıAncak Harang, saldırganların bunları istismar etmek için genellikle özel tekniklere ihtiyaç duymadıklarını, çünkü bunların zaten bilinen tehditlerin yeni yinelemeleri olduğunu söylüyor.
“LLM’lerde gördüğümüz sorunların çoğu, daha önce diğer sistemlerde gördüğümüz sorunlardır,” diyor. “Yeni olan şey saldırı yüzeyi ve bu saldırı yüzeyinin nasıl göründüğüdür — bu yüzden LLM’lerin aslında nasıl çalıştığını, girdilerin modele nasıl girdiğini ve çıktıların modelden nasıl çıktığını anladığınızda… bunu iyice düşündüğünüzde ve planladığınızda, bu sistemleri güvence altına almak, diğer sistemleri güvence altına almaktan özünde daha zor değildir.”
GenAI uygulamalarının diğer uygulamaların gerektirdiği aynı temel güvenlik nitelikleri üçlüsüne hâlâ ihtiyaç duyduğunu söylüyor: gizlilik, bütünlük ve erişilebilirlik. Bu nedenle yazılım mühendislerinin güvenlik sınırlarını çizmek, güven sınırlarını çizmek ve verilerin sistem içinde nasıl aktığına bakmak gibi standart güvenlik mimarisi titizlik süreçlerini gerçekleştirmeleri gerekiyor.
Savunucuların lehine: Yapay zeka sistemlerine sıklıkla “yaratıcı” hale getirmek için rastgelelik enjekte edildiğinden, daha az kesin olma eğilimindedirler. Başka bir deyişle, aynı girdi her zaman aynı çıktıyı üretmediğinden, saldırılar da her zaman aynı şekilde başarılı olmaz.
Harang, “Geleneksel bir bilgi güvenliği ortamındaki bazı istismarlar için, bu yükü enjekte ettiğinizde %100’e yakın güvenilirlik elde edebilirsiniz” diyor. ” [an attacker] “LLM’nin davranışını manipüle etmeye yönelik bilgi sunar, genel olarak LLM istismarlarının güvenilirliği geleneksel istismarlardan daha düşüktür.”
Büyük Bir Ajans Büyük Riskler Getirir
AI ortamlarını daha geleneksel BT muadillerinden ayıran bir şey, otonom ajans yetenekleridir. Şirketler yalnızca içerik oluşturmayı veya veri analiz etmeyi otomatikleştirebilen AI uygulamaları istemiyor, aynı zamanda harekete geçebilen modeller de istiyorlar. Bu nedenle, sözde aracı AI sistemleri daha da büyük potansiyel riskler oluşturur. Bir saldırgan bir LLM’nin beklenmedik bir şey yapmasına neden olabilirse ve AI sistemleri başka bir uygulamada eylemde bulunma yeteneğine sahipse, sonuçlar çarpıcı olabilir, diyor Harang.
“Daha yakın zamanda, diğer sistemlerde bile araç kullanımının LLM’den beklenmeyen bir aktiviteye veya beklenmeyen bir bilgi ifşasına yol açabildiğine dair örnekler gördük,” diyor ve ekliyor: “Araç kullanımı da dahil olmak üzere giderek artan yetenekler geliştirdikçe, bunun sektör için devam eden bir öğrenme süreci olacağını düşünüyorum.”
Harang, daha büyük riskle bile, bunun çözülebilir bir sorun olduğunu fark etmenin önemli olduğunu belirtiyor. Kendisi, GenAI kullanımının riski etrafındaki “gökyüzü düşüyor” abartısından kaçınıyor ve genellikle belirli bir programlama işlevinin grameri gibi belirli bilgileri avlamak ve akademik makaleleri özetlemek için bundan yararlanıyor.
“LLM’e entegre uygulamaların nasıl davrandığına dair anlayışımızda önemli gelişmeler kaydettik ve son bir yılda bunların güvenliğini nasıl sağlayacağımız ve güvenliği ilk prensiplerden nasıl oluşturacağımız konusunda çok şey öğrendiğimizi düşünüyorum” diyor.