Bu Help Net Security röportajında, CFA Enstitüsü BT Güvenliği ve Operasyonları Başkanı Wade Bicknell, CISO’ların güvenliği ve yönetimi korurken yapay zekayı nasıl kullanabileceğini tartışıyor. Yapay zekanın neden hem savunma fırsatları hem de ortaya çıkan riskler sunduğunu ve liderliğin siber güvenlikte inovasyon, kontrol ve hesap verebilirliği nasıl dengelemesi gerektiğini açıklıyor.
Bir CISO, dahili olarak AI/ML sistemlerini kullanmayı veya bunlara karşı koruma sağlamayı (sahtekarlık tespiti, tehdit avcılığı için) nasıl düşünmelidir?
Bu iki taraflı bir zorluk. Gelişmekte olan şirketlerin çoğu, sahtekarlık tespitinden tehdit avcılığına kadar yapay zekayı savunma yeteneklerine entegre etmeye odaklanıyor, ancak CISO’ların aynı zamanda rakiplerin de aynısını yaptığını kabul etmesi gerekiyor.
Yapay zekanın saldırı amaçlı kullanımının henüz ilk günlerindeyiz ancak bu aşama hızla yaklaşıyor. Yapay zeka bir güç çarpanıdır, savunmayı hızlandırabilir ancak aynı zamanda insan niyetiyle eşleştirildiğinde kötü niyetli yaratıcılığı da güçlendirebilir.
Bu, deneyler için dahili sınırlar oluşturmak, yapay zeka modellerine beslenen verileri korumak ve kullanımla ilgili erken yönetişim çerçeveleri oluşturmak anlamına gelir. Kısacası yapay zeka ile savunma yaparken aynı zamanda ona karşı da savunma yapmayı öğrenmeliyiz.
Bir kuruluş, yapay zeka araçlarının denetlenebilir, açıklanabilir ve düşmanca saldırılara karşı dayanıklı olmasını nasıl sağlayabilir?
Geleneksel denetim ve gözetim modelleri doğrusal, açıklanabilir bir mantık varsayar ancak yapay zeka düz çizgilerle düşünmez. Bu, karmaşık bir görevi, onun nasıl yapılacağına karar verecek özerk bir stajyere vermek gibidir. Sonucu görüyorsunuz, ancak her zaman süreci değil.
Temel zorluk budur; genellikle bir yapay zekanın nasıl bir karara vardığını açıklayamıyoruz. Yapabileceğimiz en iyi şey, çıktılarının niyetimizle uyumlu olduğunu ve etik ve operasyonel sınırlarımız dahilinde kaldığını doğrulamaktır.
Kuruluşlar teknik şeffaflığı (model dokümantasyonu, veri kökeni) operasyonel gözetim, insan inceleme kurulları, yapay zeka kırmızı ekibi oluşturma ve sapma veya düşmanca manipülasyona yönelik sürekli testlerle birleştirmelidir.
Yapay zekanın düşünce sürecini hiçbir zaman denetleyemeyebiliriz, ancak sonuçlarını ve etkisini sürekli olarak denetleyebiliriz ve yapmalıyız.
Yatırım operasyonlarında veya üye hizmetlerinde yapay zeka kullanıldığında hangi standartlar veya kontroller mevcut olmalıdır?
Yapay zekanın insan gözetimi olmadan yatırım yapmasına veya müşteriyle yüz yüze kalan kararlar almasına izin veren herhangi bir kuruluş, önemli riskleri kabul ediyor demektir. Yapay zeka ahlaki ve bağlamsal farkındalıktan yoksundur; “zarar verme”, “yanıltma” veya “adil davranma” gibi sezgilere sahip değildir.
Yapay zekayı kodlama ve analiz için kullanma deneyimimde, önceki korkulukları ne kadar çabuk “unutabildiğini” ve daha önceki davranışlara dönebildiğini gördüm. Bu nedenle finansal veya üye hizmetleri bağlamlarında yapay zekanın aşağıdakileri içeren katı bir yönetim altında çalışması gerekir:
- Tüm yüksek etkili eylemler için döngüdeki insan kararları
- Yapay zekanın karar verebileceği veya tavsiye edebileceği şeyler için tanımlanmış etik sınırlar
- Düzenli aralıklarla önyargı ve performans testleri
- Geçersiz kılma mekanizmaları da dahil olmak üzere yapay zeka çıktılarına ilişkin sorumluluk
Yapay zekanın taleplerimizin ardındaki amacı anladığını varsayamayız; bu amacı kodlamalı ve bunun yerine getirildiğini sürekli olarak doğrulamalıyız.
Şeffaflığın fikri mülkiyet kısıtlamaları veya model karmaşıklığıyla çatışabileceği durumlarda firmalar yapay zeka sistemlerinin denetimlerine nasıl hazırlanmalı?
Bu en çok gözden kaçan risk alanlarından biridir. Pek çok kuruluş, çalışanlarının hassas veriler, kodlar veya özel mantıkla yapay zeka sistemlerine neler sağladığını anlamıyor veya üretim araçlarının günlük kullanımı yoluyla kolayca sızabiliyor.
Büyük bir olay sorunu zorlayana kadar çoğu kişi maruz kalmayı hafife alacaktır. En iyi hazırlık proaktiftir:
- Yapay zeka sistemlerine neyin girip girmeyeceğini tanımlayan veri sınıflandırma politikaları
- Kullanımı, girdileri, sahipliği ve güncellemeleri izlemeye yönelik dahili model kayıtları
- Yeterli şeffaflığa izin verirken fikri mülkiyeti koruyan üçüncü taraf doğrulamaları veya güvenli denetim mekanizmaları
- Yapay zeka verilerinin kötüye kullanılması veya sızması riskleri konusunda çalışanlara eğitim verilmesi
Bunları yaparak ve yaptığınızı belgeleyerek denetimin gerçek amacına ulaşırsınız: kontrollerin mevcut olduğunu kanıtlamak.
Yönetişim, şeffaflık ve hesap verebilirlik operasyonlara dahil edildiğinde yalnızca denetime hazırlanmazsınız, aynı zamanda kuruluşunuzu tasarım gereği denetime dayanıklı hale getirirsiniz.
Kara para aklamayı önleme veya dolandırıcılık tespitinde, açıklamaların hassas verileri ortaya çıkarmamasını ve dava edilebilir olmasını nasıl sağlarsınız?
AML ve dolandırıcılık tespitinde zamanlama her şeydir. Açıklamalar yalnızca bir işlemin gerçekleşmeden önlenmesine yardımcı olduklarında faydalıdır. Yapay zeka hem ödemeleri hem de dolandırıcılığı güçlendirecek, bu nedenle önleme sürecin ön sıralarına kaydırılmalıdır.
Aynı zamanda modelin açıklanabilirliği, düzenleme ve gizlilik taleplerini dengelemelidir. En etkili yaklaşım katmanlı açıklamadır; araştırmacılara harekete geçmeleri için yeterli içgörü (örüntüler, davranış anormallikleri, kümeler) sağlar, ancak gereksiz kişisel veya işlemsel verileri açığa çıkarmaz.
Amaç, ekiplere mahremiyetten veya mevzuat bütünlüğünden ödün vermeden kararlı ve etik bir şekilde hareket etmeleri için ihtiyaç duydukları bilgileri veren, eyleme dönüştürülebilir şeffaflıktır.