Ulusal Standartlar ve Teknoloji Enstitüsü Bir planda halka açık geri bildirim istiyor Şirketlerin çeşitli tür yapay zeka sistemlerini güvenli bir şekilde nasıl uygulayabileceğine dair rehberlik geliştirmek.
NIST Perşembe günü, ajansın yaygın olarak kullanılanlarına göre AI sistemlerini güvence altına almak için kontrol denetimleri oluşturma hakkında bir konsept makalesi yayınladı. SP 800-53 çerçevesi. Kaplamalar, şirketlerin AI’yi teknolojinin bütünlüğünü ve gizliliğini ve bir dizi farklı test vakasında kullandığı verileri koruyacak şekilde uygulamalarını sağlamak için tasarlanmıştır.
Ajans da bir gevşek kanal oluşturdu Overlayların gelişimi hakkında topluluk geri bildirimi toplamak.
“Yapay Zeka (AI) teknolojilerinin benimsenmesi için gelişmeler ve potansiyel kullanım durumları hem yeni fırsatlar hem de yeni siber güvenlik riskleri getiriyor” Nist gazetesi dedi. “Modern AI sistemleri ağırlıklı olarak yazılım olsa da, geleneksel yazılımlardan farklı güvenlik zorlukları getiriyorlar.”
Proje şu anda beş kullanım durumuna dayanmaktadır:
- Üretken yapay zeka – yardımcı/büyük dil modeline uyarlama ve kullanma
- Kullanma ve İnce Ayarlama Öngörücü AI
- AI Ajan Sistemlerini Kullanma – Tek Ajan
- AI Ajan Sistemlerini Kullanma – Çok Ajan
- AI geliştiricileri için güvenlik kontrolleri
Kurumsal ortamlarda AI kullanımının hızlı bir şekilde hızlanması, şirketlerin işyeri verimliliğini artırmaları için fırsatlar yaratmıştır, ancak teknolojinin güvenli bir şekilde uygulanıp uygulanamayacağı konusunda ciddi endişeler yaratmıştır.
Araştırmacılar, kötü niyetli aktörlerin AI ajanlarından yararlanabilecekleri ve çalma veya yozlaşmış verilerden yararlanabilecekleri birçok yol belirlediler. Las Vegas’taki son Black Hat Konferansı sırasında, Zenity Labs’tan araştırmacılar gösterildi Bilgisayar korsanları en iyi AI ajanlarının kontrolünü nasıl ele geçirebilir ve kritik iş akışlarını manipüle etme gibi saldırılar için silahlandırabilir.
AI ayrıca hücum için bir araç olabilir. Temmuz ayında, Carnegie Mellon’da araştırmacılar büyük dil modellerinin (LLMS) özerk bir şekilde siber saldırıları başlatabildiğini ortaya koydu.