Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Yeni Sınıf Otonom Aracılar için Siber Güvenlik ve Gizlilik Risklerinin Azaltılması
Rashmi Ramesh (raşmiramesh_) •
13 Ocak 2025
Birçok kuruluş, geleneksel otomasyonu aşan görevleri özerk bir şekilde gerçekleştirmek için yapay zeka aracılarına ihtiyaç duyuyor. Teknoloji firmaları, müşteriyle yüz yüze etkileşimleri, BT operasyonlarını ve çeşitli diğer süreçleri yönetebilecek ajansal yapay zeka araçlarını kullanıma sunuyor ancak uzmanlar, güvenlik ekiplerini siber ve gizlilik risklerine karşı dikkatli olmaları konusunda uyarıyor.
Ayrıca bakınız: AI Surge, Makine-İnsan Kimlik Oranını 40-1’e Artırıyor
Gartner’ın başkan yardımcısı ve seçkin analisti Avivah Litan, yapay zeka temsilcilerinin büyük veri kümelerini analiz ettiğini, kalıpları belirlediğini ve eyleme geçirilebilir bilgiler ürettiğini belirterek, müşteri hizmetleri sorgularını yönetebileceklerini, sorunları iletebileceklerini ve hatta kişiselleştirilmiş öneriler sunabileceklerini ekledi. BT operasyonlarında yapay zeka aracıları sistem anormalliklerini tespit edebilir ve düzeltici önlemleri başlatabilir. İşletmeler bu görevleri otomatikleştirerek verimliliği artırabilir ve insan kaynaklarını stratejik hedeflere yönlendirebilir.
Yapay zeka evreninin en son heyecanı olan aracılar, diğer sistemlere bağlanır ve karar verme işlevselliği elde eder. Aralarında Google, Nvidia ve Anthropic’in de bulunduğu şirketler son aylarda yeni araçlar duyurdu ve OpenAI CEO’su Sam Altman, yapay zeka ajanlarının bu yıl işgücüne katılmasının beklendiğini ima etti.
Ancak yapay zeka aracılarının artan kullanılabilirliğinin bir dezavantajı var: artan güvenlik riskleri. Zaten kontrollü parametreler dahilinde olan geleneksel AI uygulamalarının aksine, AI aracıları birden fazla sistemle ve harici veri kaynağıyla etkileşime girer. Bu, daha geniş bir saldırı yüzeyine, yetkisiz erişime ve veri sızıntısına yol açabilir. Litan, zayıf veya zayıf sistem entegrasyonunun daha önce hassas bilgilerin yapay zeka aracıları tarafından sızdırılmasına yol açtığını, kodlama kusurlarının veya kötü niyetli müdahalelerin ise yapay zeka aracısını kasıtsız olarak iş kesintisine uğratması veya finansal kayba yol açması için kandırabileceğini söyledi.
Yapay zeka aracıları geleneksel otomasyona göre daha kullanışlıdır ancak bu avantajın bir bedeli vardır.
Geleneksel otomasyon teknikleri, bir sistemin davranışını yöneten önceden tanımlanmış kurallara dayanırken, yapay zeka aracıları eğitim verileri ve talimatları üzerinde çalışır.
Siber güvenlik firması NCC Group’un CTO’su David Brauchler şöyle açıklıyor: X koşulu karşılandığında Y eylemini gerçekleştirin; bu geleneksel otomasyondur. Yapay zeka doğası gereği nitelikseldir, dolayısıyla girdisi ve çıktısı arasındaki istatistiksel ilişkiyi temsil eder. Klasik otomasyon, doğruluk açısından kurallarının etkinliğine dayanırken, büyük dil modeli tabanlı otomasyon, eğitim sürecinin ve isteminin etkinliğine dayanır. İkincisi, doğru davranış olasılığını artırabilir ancak herhangi bir güvenlik veya kalite garantisi sunmaz. Dolayısıyla, yapay zeka aracılarının etkinliği, klasik otomasyondaki düşük esneklik, yüksek güvenceli iş yükleri ile aracı otomasyondaki yüksek esneklik, düşük güvenceli iş yükleri arasındaki tercihe bağlıdır.
Yapay zeka aracılarının sıklıkla hassas verilere ve kritik sistemlere geçiş kapısı görevi gördüğünü ve bu nedenle otonom yeteneklerinin, yapay zeka kullanan herhangi bir uygulamayı çalıştırmakla karşılaştırıldığında benzersiz riskler oluşturduğunu ekledi. Örneğin, güvenliği ihlal edilmiş bir lojistik temsilcisi, tedarik zinciri boyunca kötü niyetli komutlar yayarak geniş çaplı kesintilere neden olabilir.
Brauchler, Information Security Media Group’a yapay zeka aracılarının dinamik ve birbirine bağlı yapısının, gerçek zamanlı tehdit algılamayı zorlaştırdığını ve çoğu zaman geleneksel güvenlik önlemlerini geride bıraktığını söyledi. Yapay zeka uygulama geliştiricileri genellikle yapay zeka zayıflıklarının modellerde bağımsız olduğu ve bu kusurlar giderildiğinde teknolojinin daha geniş bir platforma dahil edilmesinin güvenli olacağı yönünde yanlış bir kanıya sahiptir.
Brauchler, “Ancak en şiddetli ve etkili güvenlik açıkları aslında bu teknolojileri diğer sistemlere bağlarken ortaya çıkıyor. Bir uygulama, aracılık yeteneklerine sahip bir model sağlamaya ne kadar yaklaşırsa, o kadar fazla güvenlik açığı ortaya çıkarır” dedi.
Buna karşı koymak için belirli konuşlandırma türlerinin risklerini değerlendirmek üzere kapsamlı bir tehdit modelleme planı öneriyor. En az ayrıcalıklı erişim ve dinamik yetenek değişimi gibi mimari kontroller de sistemleri koruyabilir. “Bir sistemdeki bu ayrı güvenilir ve güvenilmeyen bölgeler, kazara eylem riskini önemli ölçüde azaltabilir” dedi. Bunu yapmanın, aracı faaliyetlerini izleyerek ve değişmez denetim izlerini sürdürerek anormalliklerin tespit edilmesine ve bunlara yanıt verilmesine olanak sağladığını söyledi.
Güvenli yapay zeka aracılarının geliştirilmesi aynı zamanda geliştiriciler, satıcılar ve kullanıcılar arasındaki işbirliğine de bağlıdır. Litan, “Bu ortak bir sorumluluktur” dedi. “Güvenlik sorunları bütünsel olarak ele alınmazsa veri ihlallerine, mali kayıplara ve itibarın zarar görmesine neden olabilir.”
Brauchler, işletmelerin yıllardır LLM’lerin amaçlanan direktifleri ihlal etme olasılığını en aza indiren korkuluklar talep ederek riski kendilerinden ve yapay zeka geliştiricilerinin üzerine kaydırmaya çalıştıklarını söyledi. Ancak korkuluklar sıkı güvenlik kontrolleri değildir ve riski azaltmak için değil, risk için hız belirleyicidir. “Gerçekte, tehdit aktörleri tarafından kontrol edilen girdilerin yapay zeka modelinin davranışını manipüle etmesini ve kötü niyetli eylemler gerçekleştirmesini engelleyebilecek hiçbir korkuluk yoktur” dedi. “Uygulamalarını yapay zeka davranışının belirsizliğini hesaba katacak şekilde tasarlamadan yapay zekayı uygulayan kuruluşlar sorun çıkarıyor.”
Uzmanlar, yapay zeka aracılarının sunduğu benzersiz zorluklara karşı koymak için eski güvenlik mimarilerinin yeniden gözden geçirilmesini öneriyor.
Braucher, pratikte bu mimarinin neye benzeyebileceğini açıklıyor: 30 yılı aşkın süredir teknolojinin başına bela olan güvenlik sorunlarının kökeni, veri kodu ayrımı ilkesine kadar uzanabilir. Ancak Yüksek Lisans’lar için veri koddur. Bu nedenle önce yama yaklaşımı yerine veri güveni yaklaşımı dikkate alınmalıdır. Bu, bir LLM’nin güvenilmeyen verilere maruz kalması durumunda, yeteneklerinin veya işlev çağrılarının aldığı en az güvenilen verilere indirilmesi gerektiği anlamına gelir.
Örneğin, bir BT yönetici aracısı, düşük ayrıcalıklı kullanıcılardan gelen bildirimlere maruz kaldığında, güvenilmeyen veriler kendi bağlam penceresi içinde olduğu sürece yönetim işlevlerine erişememelidir. Güvenilmeyen aracılar, verileri ayrıştırarak, bir eylem planı oluşturarak ve verileri yönetmek için güvenilir, klasik sistemlere aktararak uygulamalar için hâlâ yararlı olabilir. Uygulama mimarlarının, verilerin yalnızca güvenilir modellere maruz kalmasını kontrol ederek LLM’leri güvenilir bölgeler ve güvenilmeyen bölgeler olarak gruplandırabileceğini söyledi.
Örneğin, bir BT yöneticisi bir temsilciden acil destek talebi listesi hazırlamasını isterse. Güvenilir aracı, isteği okur ve ayrıştırır, güvenilmeyen verilerle etkileşimin beklendiğini belirler ve güvenilmeyen aracıya “bilet ayrıştırma” görevini gönderir. Güvenilmeyen temsilci, biletleri ayrıştırır, acil olup olmadığını belirler ve ardından her bilet için arka uç kodunu evet veya hayır olarak iletir. Kod daha sonra evet/hayır listesini güvenilen aracıya veya doğrudan yöneticiye döndürür. Ve bu mimari, kötü niyetli biletlerin en kötü ihtimalle kendilerini acil olarak işaretleyebileceği ve yöneticiyi tehlikeye atacak kapasiteye sahip olmadığı bir güvenlik garantisi sağlar.
Yapay zeka aracılarını güvenli bir şekilde dağıtmak için uzmanlar, güvenlik değerlendirmeleri ve Tehdit Aktörleri Olarak Modeller gibi yapay zekaya özgü tehdit modelleri içeren yapılandırılmış bir yaklaşımın izlenmesini tavsiye ediyor. Sürekli izleme ve anormallik tespiti, yapay zeka aracılarının yetkisiz eylemlerini önlemek için önemlidir; veri erişimi kısıtlamalarına sahip yönetişim politikaları ve açık olay müdahale protokolleri ise güvenliğin artırılmasına yardımcı olur.
Brauchler, “Ajantik yapay zeka tamamen yeni mimari değerlendirmeler gerektiriyor ve ortamlarını güven, veri ve dinamik yetenek değişimi açısından aktif olarak düşünmeyen geliştiricilerin yanlışlıkla güvenlik açıklarını ortaya çıkarması muhtemeldir” dedi.