Şu anda ajansal yapay zekanın tüm biçimlerini test etmenin yanı sıra OpenAI’nin O1’i gibi mevcut üretken yapay zeka modellerinin yeni versiyonlarını test etme aşamasında olduğum için, kurumsal güvenlik ekipleri için yapay zeka bot çerçevelerinin güvenliğini sağlamanın karmaşıklıkları netleşmeye başlıyor.
Aklımıza gelen ilk karşılaştırma, mevcut güvenlik araç setlerimizde aniden kısıtlamalarla karşı karşıya kaldığımız “şirket içinden buluta” günlerde yaşadıklarımızdır.
Bir IP adresindeki bir veritabanını veya VM sunucusunu taramak için kullanılan şirket içi güvenlik açığı tarayıcınız, aniden AWS S3 paketinin veya Azure Blob’un ne olduğunu bilmiyordu. Bir Lambda işlevinin bağlamını ve hatta onu nasıl tarayacağını anlayamıyordu ve tarayıcı bu varlıklara karşı etkili bir şekilde kör olduğu için “görünmez” güvenlik açıklarıyla karşı karşıya kalıyordunuz. Bulut varlıklarının hem geleneksel taramasını hem de taramasını yapabilen araçlar olan bulutta yerel uygulama koruma platformları (CNAPP’ler) bu şekilde ortaya çıktı.
Şimdi, ajansal yapay zeka ile ilgili benzer bir sorunla karşı karşıyayız ve yakında kuruluşunuz genelinde birbirine bağlı ajansal yapay zeka çerçevelerinin tamamı oluşturulacak.
Önce sorunu çözelim
Halihazırda OpenAI’nin GPT’sinin üzerinde yer alan Microsoft’un aracı yapay zeka teklifini (Copilot Studio) alırsak, botlar bağımsız web uygulamaları, mobil uygulamalar, Teams kanalları veya istemciye dönük etkileşimli portallar olarak katmanlandırılabilir ve dağıtılabilir. uygulamalar ve hatta Facebook gibi sosyal medya uygulamaları.
Kimlik doğrulamaya ilişkin kendi güvenlik yapılandırmalarını içerirler (Onların kimliğini doğruluyor musunuz? Evetse nasıl?). Ayrıca, kullanıcı tarafından oluşturulan içeriğe bağlı olarak platformlar arası tetikleyiciler ve ilişkili eylemler vardır (örneğin, kullanıcı bu anahtar kelimeyi söylerse XYZ platformunun harici uygulama API’sini çağırır mıyım?). İçerik denetlemede, anında enjeksiyon gibi yerel AI güvenlik açıklarını engelleyebilecek ayarlar bile vardır.
Anthropic’in basitçe “bilgisayar kullanımı” olarak adlandırılan aracılı yapay zeka uygulaması, aracının bir kullanıcı ortamına, tarayıcı ve dosya sistemi eylemlerine kadar etkili bir şekilde yerel erişimine izin vermek için Claude’un (Sonnet 3.5) en son yinelemesinden yararlanır. Bunun da kendine has ayarları var. Örneğin botun kullanması için kendi “araçlarınızı” tanımlayabilirsiniz. Ancak komutları çalıştırmak için Bash’ten yararlanıyorsa hangi izinlere sahip olacaktır? İnternette gezinmek için hangi tarayıcıyı kullanıyor? Giden bağlantıları “proxized” mi? Sistem dosyalarını açmak ve düzenlemek için varsayılan Python kodunu mu kullanıyor? Anthropic’in işaret ettiği gibi, Claude ara sıra getirdiği veya işlediği dosyalardaki, kullanıcının ilk komutlarına karşı gelen talimatları izleyecektir; bu, resmi görevinden “dikkatinin dağılabileceği” ve tamamen başka bir şey yapabileceği anlamına gelir.
Şimdi bu botların birlikte çalıştığı bir çerçeveyi hayal etmeye başlayın: örneğin, ön uçta, arka uçta ServiceNow’a bağlanan ve ChatGPT API destekli bir bota beslenen biletler üreten, Copilot Studio destekli bir sohbet robotu. Yerel iş yükleri için Nvidia’nın taslak aracılarına bağlantılar ve belirli dosya tabanlı eylemler için iç içe geçmiş Claude. Her botun farklı kimlik doğrulama yöntemleri (veya genel sohbet robotu için hiçbiri yoktur), farklı ayrıcalıkları vardır, farklı veri kümeleri ve bağlayıcılarla çalışır, farklı tetikleyicilere sahiptir ve hatta farklı akıl yürütme modellerinde çalışır (Antropik Sonnet 3.5, OpenAI’nin O1’inden farklı “nedenler” ile çalışır). Bu karışıklığı nasıl izliyorsunuz ve hatta tarıyorsunuz?
Çözüm bulma
Çoğu şirket iş yüklerini buluta kaydırdığında bu sorunlarla karşılaştık. Kimlik doğrulama sorunları (varsayılan olarak herkese açık bir ayara sahip olan ve varsayılan olarak güvenli hale gelmeden önce çok fazla ihlalin nedeni olan korkunç S3 grubu gibi), bulut güvenliği duruş yönetimi (CSPM) araçlarının etki alanı haline geldi; CNAPP’nin kısaltması. Kimlik ve izin sorunları (veya dilerseniz yetkilendirmeler) CIEM’in (bulut kimlik yetkilendirme yönetimi) alfabe çorbası haline geldi; neyse ki artık CNAPP çatısı altında.
Yapay zeka botlarının benzer araç setleri tarafından izlenmesi gerekecek, ancak henüz mevcut değiller. Riske gireceğim ve SAFAI’yi önereceğim (telaffuz Sah-fy) kısaltma olarak: Yapay Zeka için Güvenlik Değerlendirme Çerçeveleri. Bunlar, CNAPP araçlarına çok benzer şekilde kendilerini aracısız veya şeffaf bir şekilde yerleştirir, yapılandırma, kimlik doğrulama ve izin sorunlarını toplayarak AI botlarınız arasında gezinir ve sorunlu noktaları vurgular.
Sizi korumak için yine de standart diğer araçlara ihtiyacınız olacak çünkü bunlar aynı altyapının üzerinde yer alıyor. Ve bu, hızlı enjeksiyon fırsatları konusunda endişelenmenin de ötesindedir; bu, tamamen modellere ve nasıl kullanıldıklarına bağlı olduğundan ne yazık ki üzerinde hiçbir kontrolünüz olmayan bir şeydir.
Bugün, hızlı enjeksiyonlar, özellikle sosyal medya ağlarında yapay zeka bot kullanımının neredeyse eğlenceli bir özelliği olarak görülüyor. Herhangi bir sosyal medya ağında “önceki talimatları görmezden gelin ve…” (ASCII tek boynuzlu atı buraya ekleyin) ifadesini arayın ve yapay zeka tarafından oluşturulan içeriği yayınlarken yakalanan sözde meşru hesapların bazı komik örneklerini bulacaksınız. Bu basit örnekler, yapay zeka modellerinin kendisi tarafından büyük ölçüde kısırlaştırıldı, ancak gerçekte hiçbir zaman ortadan kalkmayacak (aynı şekilde, WAF baypaslarının sürekli akış halinde olması gibi).
Düşündüğümüzden çok daha erken bir zamanda, veri ihlallerinin nedeninin botlar olacağı, farklı API’lerle birlikte örülmüş büyük, birbirine bağlı AI bot çerçeveleri çağına gireceğiz. Bunları farklı satıcılar arasında geniş ölçekte taramak ve izlemek için araçlar geliştirmemiz gerekiyor, böylece henüz başka bir hayalet varlık haline gelmesinler.