OWASP Yapay Zeka Güvenlik Açığı Puanlama Çerçevesini Başlatıyor


Yeni bir güvenlik açığı puanlama sistemi yakın zamanda duyuruldu. Yapay Zeka Güvenlik Açığı Puanlama Sistemi (AIVSS) olarak adlandırılan girişim, siber güvenlik açığının karmaşık, belirleyici olmayan doğasını ele almak için tasarlanmamış olan Ortak Güvenlik Açığı Puanlama Sistemi (CVSS) gibi geleneksel modellerin bıraktığı boşlukları doldurmayı amaçlıyor.modern yapay zeka teknolojileri.

Yapay zeka güvenlik uzmanı, yazar ve yardımcı profesör Ken Huang, AIVSS çerçevesini tanıttı ve CVSS’nin uzun süredir yazılım açıklarını değerlendirmede bir temel taşı olmasına rağmen, ajan ve otonom yapay zeka sistemleri tarafından sunulan benzersiz tehdit manzarasını yakalamakta başarısız olduğunu vurguladı.

Huang, “CVSS ve diğer düzenli yazılım güvenlik açığı çerçeveleri yeterli değil” diye açıkladı. “Bunlar geleneksel deterministik kodlamayı varsayıyor. Ajans yapay zekasının deterministik olmayan doğasıyla ilgilenmemiz gerekiyor.”

Huang, Zenity Kurucu Ortağı ve CTO Michael Bargury, Amazon Web Hizmetleri Uygulama Güvenliği Mühendisi Vineeth Sai Narajala ve Stanford Üniversitesi Bilgi Güvenliği Sorumlusu Bhavya Gupta dahil olmak üzere siber güvenlik ve akademi dünyasının önde gelen isimlerinin yanı sıra AIVSS proje çalışma grubunun eş lideri olarak görev yapıyor.

Grup, yapay zeka ile ilgili güvenlik tehditlerini değerlendirmeye yönelik yapılandırılmış ve ölçülebilir bir yaklaşım sağlayan bir çerçeve geliştirmek için Dünya Çapında Açık Uygulama Güvenliği Projesi (OWASP) kapsamında birlikte işbirliği yaptı.

Huang’a göre Agentic AI, kısmi özerkliği nedeniyle benzersiz zorluklar sunuyor. “Özerkliğin kendisi bir güvenlik açığı değildir ancak riski artırır” dedi. AIVSS, yapay zeka sistemleri bağımsız kararlar aldığında, araçlarla dinamik olarak etkileşime girdiğinde veya davranışlarını geleneksel yazılımın yapamayacağı şekilde uyarladığında ortaya çıkan ek risk faktörlerini ölçmek için özel olarak tasarlanmıştır.

Yapay Zeka Güvenlik Açığı Puanlamasına Yeni Bir Yaklaşım

Yapay Zeka Güvenlik Açığı Puanlama Sistemi, CVSS modelini temel alarak yapay zeka sistemlerinin dinamik doğasına göre uyarlanmış yeni parametreler sunar. AIVSS puanı, temel CVSS puanıyla başlar ve ardından bir temsilci yetenek değerlendirmesini içerir. Bu ek katman, özerklik, belirlenimsizlik ve araç kullanımını hesaba katar;şapka yapay zeka odaklı sistemlerde riski artırabilir. Birleştirilmiş puan daha sonra ikiye bölünür ve nihai bir güvenlik açığı puanı oluşturmak için çevresel bağlam faktörüyle çarpılır.

Özel bir portal şu ​​adreste mevcuttur: aivss.owasp.orgyapay zeka risk değerlendirmesi için belgeler, yapılandırılmış kılavuzlar ve uygulayıcıların kendi yapay zeka güvenlik açığı puanlarını hesaplamaları için bir puanlama aracı sağlar.

Huang, yapay zeka sistemleri ile geleneksel yazılımlar arasındaki kritik bir farklılığın altını çizdi: Yapay zeka kimliklerinin akışkanlığı. “Konuşlandırma sırasında kullanılan kimlikleri üstlenemeyiz” dedi. “Fasil yapay zeka ile kimliğin geçici ve dinamik olarak atanmasına ihtiyacınız var. Gerçekten özerkliğe sahip olmak istiyorsanız, ona görevi tamamlamak için ihtiyaç duyduğu ayrıcalıkları vermelisiniz.”

Ajanssal Yapay Zeka Sistemlerinde En Büyük Riskler

AIVSS projesi aynı zamanda Agentic AI için en ciddi on temel güvenlik riskini de belirledi, ancak ekip bunu resmi bir “En İyi 10” listesi olarak adlandırmaktan kaçındı. Mevcut riskler şunları içerir:

  • Ajan AI Aracının Kötüye Kullanımı
  • Aracı Erişim Kontrolü İhlali
  • Aracı Basamaklı Arızaları
  • Ajan Düzenleme ve Çoklu Ajan Kullanımı
  • Temsilci Kimliğine Bürünme
  • Ajan Belleği ve Bağlam Manipülasyonu
  • Güvenli Olmayan Aracı Kritik Sistem Etkileşimi
  • Temsilci Tedarik Zinciri ve Bağımlılık Saldırıları
  • Ajan Takip Edilemezliği
  • Temsilci Hedefi ve Talimat Manipülasyonu

Bu risklerin her biri yapay zeka sistemlerinin birbirine bağlı ve bileşimsel doğasını yansıtıyor. Taslak AIVSS belgesinde belirtildiği gibi, “Girişlerdeki bazı tekrarlar kasıtlıdır. Ajans sistemleri tasarım gereği bileşimseldir ve birbirine bağlıdır. Bugüne kadar, Aracın Kötüye Kullanımı, Hedef Manipülasyonu veya Erişim Kontrolü İhlalleri gibi en yaygın riskler sıklıkla üst üste binmekte veya birbirini kademeli olarak güçlendirmektedir.”

Huang, bunun pratikte nasıl ortaya çıktığına dair bir örnek verdi: “Aletin yanlış kullanımı için, bir aracın seçilmesinde bir risk olmamalıdır. Ancak MCP sistemlerinde, aracın kimliğine bürünme ve ayrıca güvenli olmayan araç kullanımı vardır.”



Source link