Güvenli Mesajlaşma Uygulaması Sinyali Başkanı, yapay zekanın (AI) insanların belirli görevleri yerine getirmelerine yardımcı olmak için sistemlere erişebileceği ajan AI’nın güvenlik sonuçları konusunda uyardı.
Birleşmiş Milletler AI için iyi zirvede “devredilen kararlar, güçlendirilmiş risk” oturumunda Meredith Whittaker, sinyalin güvenliğinin ve diğer uygulamaların ajan yapay zeka tarafından nasıl tehlikeye atılacağından bahsetti. Yetkili, endüstrinin yapay zekayı geliştirmek ve güçlü aracılar geliştirmek için bahis yapmak için milyarlarca harcadığını söyledi.
AI temsilcilerinin ihtiyaç duyduğu erişimin bir örneği olarak şunları söyledi: “Bir restoran için rezervasyon yapmak için restoranı aramak için tarayıcınıza erişmesi gerekiyor ve arkadaşlarınıza mesaj gönderebilmesi için iletişim listenize ve mesajlarınıza erişmesi gerekiyor.
“Sinyale erişime sahip olmak sonuçta sağlam gizlilik ve güvenlik sağlamak için uygulama katmanındaki yeteneğimizi zayıflatacaktır.”
Whittaker, AI ajanlarının kullanıcı etkileşimi olmadan işlerini özerk bir şekilde yapmaları için, kullanıcının BT sistemlerine kök düzeyinde yaygın erişim gerektirdiklerini belirtti. Whittaker’ın belirttiği gibi, siber güvenlik en iyi uygulamalarına “Buradaki herhangi bir güvenlik araştırmacısı veya mühendisinin bildiği şekilde, bir erişim noktasının çok daha hassas bir erişim alanına yol açabileceği bir vektör”.
Ajanik AI’nın bir başka güvenlik riski, eski yazılım kütüphanelerinin ve sistem bileşenlerinin çok güvenli olmayabileceğidir. “Dijital yaşamınızın çoğuna ajanik bir AI sisteminin erişimini sağladığınızda, bu yaygın erişim ciddi bir saldırı vektörü yaratır [to target] Güvenlik açıkları ”diye uyardı.
Sinyal mesajlaşma uygulaması, diğer uygulamalar gibi, işletim sisteminin uygulama katmanında çalışır ve özellikle siber güvenlik risklerinden kaçınmak için “kök” erişimini kullanmayacak şekilde tasarlanmıştır.
Whittaker, “Kullandığınız Sinyal Messenger uygulaması iOS veya Android veya bir masaüstü işletim sistemi için üretilmiştir, ancak bu ortamların hiçbirinde tüm sisteme kök erişimi olmayacaktır. Takviminizdeki verilere erişemez. Başka şeylere erişemez” dedi Whittaker.
Dijital yaşamınızın çoğuna bir ajan AI sisteminin erişimini sağladığınızda, bu yaygın erişim ciddi bir saldırı vektörü yaratır [to target] güvenlik açıkları
Meredith Whittaker, sinyal
“Sinyalin hükümetlerin, askerlerin, insan hakları çalışanlarının, BM işçilerinin ve gazetecilerin ihtiyaç duyduğu güvenlik ve gizlilik türünü garanti edebileceği yer” dedi.
Ancak AI ajanlarının bu güvenlik kısıtlamaları üzerinde çalışması gerekir. “Bu ajanların, genellikle uygulama katmanına izin verildiği işletim sistemi düzeyinde entegrasyonundan bahsediyoruz” diye uyardı.
Whittaker için, ajanların geliştirilme şekli, uygulamaları bir işletim sisteminde uygulama katmanında çalışan herkes için bir endişe kaynağı olmalıdır, bu da sistem dışı uygulamaların çoğunluğu için geçerlidir.
“Bence bu sadece sinyal için değil, aynı zamanda teknolojisi uygulama katmanında var olan herkes için” dedi.
Spotify’ı örnek olarak kullandı ve diğer tüm şirketlere tüm verilerine erişim sağlamak istemediğini söyledi. “Bu, tescilli bilgiler, size reklam satmak için kullandığı algoritmalar. Ancak bir temsilci şimdi bir çalma listesini küratörlüğünü yapma ve mesajlaşma uygulamanızdaki arkadaşlarınıza gönderme sözü veriyor ve temsilcinin artık tüm bu verilere erişimi var.”
Whittaker ayrıca hükümetleri, jeopolitik olarak hassas bilgilere erişmek için bir AI sistemi kullanırken karşılaştıkları riskler konusunda uyardı, bu da büyük teknoloji sağlayıcılarından birinden bir uygulama programlama arayüzünden (API) kullanıyor.
“Sistemlerinizdeki verilere nasıl erişiyor? Bu verileri nasıl bir araya getiriyor? Bir veri havuzunun bir balkon olduğunu ve cazip bir kaynak olabileceğini biliyoruz” dedi.
AI sistemleri olasılıksaldır ve bir kullanıcı sorgusuna makul bir cevap türetmek için farklı eğitim veri setlerinden yararlanır.
“AI büyülü bir şey değil,” diye ekledi Whittaker. “Bu bir avuç istatistiksel model ve AI ajanları genellikle bazı yazılımlara sarılmış bir dizi farklı AI modeline dayanıyor.”
Yetkili, delegeleri, bu sistemlerin gerektirdiği veri erişimini değerlendirmeye ve sonuçlarına nasıl ulaştıklarını anlamaya çağırdı.
AI modellerinin kurumsal içerik konusunda eğitilme şekli, bir kullanıcının hangi veri kümelerini görmeye yetkili olduğunu anlayabilmesi için AI motorunda erişim kontrolü ihtiyacını tartışan Gartner analisti Nader Heinen ile yapılan son bilgisayar haftalık podcast’in konusuydu.
Heinen, AI motoruna böyle bir erişim kontrolü inşa edilmedikçe, bu bilgilere erişimi olmaması gereken insanlara yanlışlıkla bilgi ortaya çıkaracağı çok gerçek bir risk olduğu konusunda uyardı.
Heinen’in dahili veri sızıntısından kaçınmanın olası bir yolu olarak gördüğü bir yaklaşım, küçük dil modellerini dağıtmaktır. Burada, kullanıcı kategorileri için veri erişim politikalarıyla uyumlu olan kurumsal verilerin alt kümelerine dayanarak farklı AI modelleri eğitilir ve dağıtılır.
Heinen, böyle bir politikanın hem inanılmaz derecede pahalı hem de inanılmaz derecede karmaşık olabileceğini söyledi, ancak ekledi: “Bu da birçok vaka için ileriye doğru yol olabilir.”
Büyük AI sağlayıcıları da bu teknolojinin bir kısmını savunma sektörüne satıyor. Delegeleri dikkatli olmaya çağıran iyi konferans için AI için bir sunucu.
Bu sağlayıcıların bir AI API’sının her kullanıldığında nasıl topladığı veriler, özel ve kamu sektöründeki her işletme karar vericisi ve siber güvenlik uzmanı dikkate alması gereken bir şeydir.