AI ajanları, bugün kuruluşlarda en yaygın olarak konuşlandırılan Genai girişim türlerinden biridir. Popülerliklerinin birçok iyi nedeni vardır, ancak BT güvenliği için gerçek bir tehdit oluşturabilirler.
Bu yüzden CISOS’un kuruluşlarında konuşlandırılan her AI temsilcisine yakından bakması gerekiyor. Bunlar, müşterilerin siparişlerini izlemelerine veya satın alma geçmişlerine danışmasına yardımcı olmak için tasarlanmış sohbet botları gibi dışa bakan ajanlar olabilir. Veya, yeni işe alımlar için yeni işe alımlar yürümek veya finansal personelin hileli faaliyeti gösterebilecek anomalileri tespit etmesine yardımcı olmak gibi, belirli görevler için tasarlanmış dahili ajanlar olabilir.
Yapay zekadaki son gelişmeler ve özellikle doğal dil işleme (NLP) sayesinde, bu ajanlar kullanıcı mesajlarına insan konuşmasını yakından taklit edecek şekilde yanıt vermede son derece becerikli hale gelmiştir. Ancak, en iyi şekilde performans göstermek ve son derece özel ve doğru yanıtlar sağlamak için, sadece kişisel bilgileri ve diğer hassas verileri ele almakla kalmamalı, aynı zamanda daha geniş İnternet’ten bahsetmemek için dahili şirket sistemleri, harici ortaklar, üçüncü taraf veri kaynakları ile yakından entegre edilmelidirler.
Hangi yöne bakarsanız bakın, tüm bunlar AI ajanlarını organizasyonel bir güvenlik açığı sıcak nokta yapar.
Ortaya çıkan riskleri yönetmek
Peki AI ajanları kuruluşunuz için nasıl bir risk oluşturabilir? Başlangıç olarak, gelişimleri sırasında, paylaşmamaları gereken iç verilere yanlışlıkla erişim verilebilir. Bunun yerine, yalnızca temel verilere erişimi olmalı ve bunu görme yetkisi olanlarla, güvenli iletişim kanallarında ve kapsamlı veri yönetimi mekanizmalarıyla paylaşmalıdır.
Ek olarak, ajanlar altta yatan AI ve güvenlik açıkları içeren makine öğrenme modellerine dayanabilir. Bilgisayar korsanları tarafından kullanılırsa, bunlar uzaktan kod yürütülmesine ve yetkisiz veri erişimine yol açabilir.
Başka bir deyişle, savunmasız ajanlar, hackerlarla derin risklere yol açacak şekilde etkileşimlere çekilebilir. Örneğin, bir ajan tarafından verilen yanıtlar, davranışına müdahale eden kötü niyetli girdilerle manipüle edilebilir. Bu tür bir hızlı enjeksiyon, altta yatan dil modelini önceki kuralları ve talimatları görmezden gelmeye ve yeni, zararlı olanları benimsemeye yönlendirebilir. Benzer şekilde, kötü niyetli girdiler, bilgisayar korsanları tarafından temel veritabanlarına ve web hizmetlerine saldırı başlatmak için de kullanılabilir.
CISO’larım ve güvenlik uzmanlarıma mesaj açık olmalıdır: titiz değerlendirme ve gerçek zamanlı izleme, AI ve Genai girişimleri, özellikle de müşteriler, çalışanlar ve ortaklarla etkileşimleri ele alan ajanlar için gereklidir.
AI ajanlarının kör noktanız olmasına izin verme
Başlamak için en iyi yerin, ajanlar da dahil olmak üzere mevcut AI ve Genai varlıklarının kapsamlı bir denetimi ile olabileceğini öneririm. Bu, her biri için veri kaynağı listesi ve uygulama programlama arayüzleri (API) ve onunla ilişkili entegrasyonlar ile birlikte kuruluşta bulunacak her örneğin kapsamlı bir envanterini sağlamalıdır.
Örneğin, İK, muhasebe veya envanter sistemleri ile aracı arayüzü mü? Üçüncü taraf verileri, etkileşimlerini veya verileri internetten kazıyan altta yatan modele dahil mi? Ajanla kim etkileşime giriyor? Temsilcinin farklı kullanıcı türleriyle veya temsilciyle ne tür bir görüşme yapması için yetkilidir?
Kuruluşların kendilerinin, yeni AI uygulamalarını sıfırdan, CISOS ve ekiplerinin, gizlilik, güvenlik ve uyum hedeflerinin titizlikle uygulandığından emin olmak için doğrudan AI ekibiyle birlikte çalışmaları gerektiğini söylemeye gerek yok.
Dağıtım sonrası, BT güvenlik ekibinin bir ajanın faaliyetlerini ve performansını sürekli olarak izlemek için arama, gözlemlenebilirlik ve güvenlik teknolojileri olması gerekir. Bunlar, trafik akışlarındaki anormallikleri, kullanıcı davranışlarını ve paylaşılan bilgi türlerini tespit etmek ve bu alışverişleri şüphe gerekçelerinin olduğu yerde aniden durdurmak için kullanılmalıdır.
Kapsamlı günlük kaydı, BT güvenlik ekiplerinin istismar, sahtekarlık ve veri ihlallerini tespit etmesini sağlamakla kalmaz, aynı zamanda en hızlı ve en etkili iyileştirmeleri de bulur. Onsuz, ajanlar yanlış yapıcılarla düzenli etkileşimlere girebilir ve bu da uzun vadeli veri püskürtmesine veya maruz kalmaya yol açabilir.
Güvenlik ve yönetişim için yeni bir cephe hattı
Son olarak, Cisos ve takımları Gölge AI olarak adlandırılmalıdır. Tıpkı çalışanların, iş yapmak için genellikle kuruluşlardan ziyade tüketicilere yönelik hizmet olarak yazılım araçlarını benimsediklerini gördüğümüz gibi, birçoğu şimdi organizasyonel BT ekibinin yaptırımı veya gözetimi olmadan AI özellikli araçları benimsemeye maverick, yetkisiz bir yaklaşım benimsiyor.
Gölge AI’yı her yerde tespit etmek ve ortaya çıkarmak için güvenlik ekipleri üzerinde. Bu, yetkisiz araçların tanımlanması, oluşturdukları güvenlik risklerini değerlendirmek ve hızlı eylemde bulunmak anlamına gelir. Riskler verimlilik faydalarından açıkça ağır basarsa, bu araçlar engellenmelidir. Mümkün olduğunda, ekipler çalışanları kuruluşun güvenlik standartlarını karşılayan daha güvenli, onaylanmış alternatiflere yönlendirmelidir.
Son olarak, bir AI ajanı ile etkileşimin düzenli bir insan konuşması gibi hissedebileceği için, ajanların insanın bu etkileşimlerde takdir, yargılama, dikkat veya vicdan kullanma yeteneğine sahip olmadığı konusunda uyarmak önemlidir. Bu nedenle net yönetişim çok önemlidir ve kullanıcılar, bir ajanla paylaşılan her şeyin niyet etmedikleri şekilde saklanabileceğini, yüzleşebileceğini veya maruz kalabileceğinin farkında olmalıdır.