Help Net Security röportajında, Robust Intelligence’ın kurucu ortağı Kojin Oshiba, akademik araştırmalardan sektördeki yapay zeka güvenliği zorluklarını ele almaya uzanan yolculuğunu anlatıyor.
Oshiba, teknoloji sistemlerindeki güvenlik açıklarını ve riskleri azaltmak için gereken proaktif önlemleri vurgulayarak sağlam testler ve yenilikçi çözümlere vurgu yapıyor. Ayrıca, mevcut durum ve gelecekteki güvenlik zorluklarının yanı sıra gelişen düzenleyici ortam hakkında da içgörüler sağlıyor.
Yapay zeka sistemlerinin güvenlik yönleri konusunda uzmanlaşmaya sizi ne motive etti?
Harvard’da iken, AI sistemlerinin hem savunmasız hem de verilerdeki küçük değişikliklere karşı aşırı hassas olduğunu öğrendim. Araştırmam, çok küçük değişikliklerin bile AI modellerinin çıktısı üzerinde büyük etkileri olabileceğini kanıtladı, ancak sektör AI’yı bir düğmeye basarak her şeyi yapabilen “sihirli bir kara kutu” olarak ele aldı. Bir seçimle karşı karşıyaydım: Makaleler yazmaya devam etmek ve bu sorunu bir araştırmacı olarak ele almak ya da kuruluşların AI modellerini oluşturma ve çalıştırma biçimini değiştirme zorunluluğunu takip etmek. Eylemde bulunmayı seçtim.
Robust Intelligence’ı 2019’da Harvard profesörü Yaron Singer ile birlikte yapay zeka riskini proaktif bir şekilde azaltarak statükoyu bozmak için kurdum. Çözümümüzün merkezinde, modelleri doğrulamak için oluşturduğumuz yenilikler yer alıyor: güvenlik açıklarını otomatik olarak belirlemek için algoritmik yapay zeka kırmızı takımı ve modellerin gerçek zamanlı olarak güvenli olmayan çıktılarla yanıt vermesini engelleyen bir yapay zeka güvenlik duvarı. Bu, kuruluşlara çeşitli kullanım durumları genelinde üretimde modelleri ölçeklendirme konusunda güven sağlar.
Yapay zeka güvenliğinin mevcut durumunu nasıl tanımlarsınız?
Yapay zeka gelişimi, güvenliği önemli ölçüde geride bırakıyor. Birçok yönden, siber güvenliğin ilk yıllarına çok benziyor. Yapay zeka benimsenmesi hızlandıkça, yapay zeka sistemlerine yönelik saldırıların sıklığı ve karmaşıklığı da artıyor. Bu yeni saldırı yüzeyi, geleneksel güvenlik yöntemleri yapay zeka sistemlerini yeterince korumak için tasarlanmadığından, çoğu şirket için bir boşluk. Üretken yapay zekanın ortaya çıkışı, önemli bir risk daha ekledi. Bunlar, son kullanıcı uygulamalarına güç sağlamak için kullanılan neredeyse yalnızca üçüncü taraf modelleridir, bu nedenle tedarik zinciri ve çalışma zamanı koruması kritik öneme sahiptir.
Birçok şirket, güvenlik endişeleri nedeniyle GenAI destekli uygulamaların yayınlanmasını engelliyor. Yönetilmeyen risklerin farkındalar ancak AI sistemlerini korumak için gerekli adımları atmadılar. Birçok şirket için liderlik, ekipleri AI kullanarak yenilik yapmaya yönlendirmektir.
Yapay zeka güvenliğinde sağlam test ve doğrulamanın önemini tartışabilir misiniz?
Yapay zeka güvenliği en iyi uygulamaları, geleneksel siber güvenlikle birçok ilkeyi paylaşır. Açık kaynaklı yazılımları kullanmadan önce taramak önemlidir. Yapay zeka için bu, Huggingface ve Pytorch gibi herkese açık depolarındaki açık kaynaklı model dosyalarını, eylemleri gerçekleştirebilen pickle dosyası istismarları gibi kötü amaçlı bileşenler açısından taramak anlamına gelir.
Güvenlik açığı testi bir sonraki kritik adımdır. Bu, arka kapılar veya zehirli veriler gibi güvenlik açıklarını belirlemek için ikili dosyalar, veri kümeleri ve modeller için modellerin “statik” testini içerir. Ayrıca, bir modelin çeşitli senaryolarda bir güvenlik açığına nasıl yanıt verdiğini değerlendirmek için “dinamik” test de içerir. Algoritmik kırmızı takım, manuel test gerektirmeden çeşitli ve kapsamlı bir düşmanca teknikler kümesini simüle edebilir ve modelin enjeksiyon saldırılarını başlatma eğilimi gibi şeyleri açığa çıkarabilir.
Bu ilk süreçte belirlenen güvenlik açıkları, bir şirketin model üzerinde bir uygulama oluşturmayı seçip seçmeyeceğini belirleyebilir. Test, modelin ömrü boyunca periyodik olarak devam etmelidir, çünkü iyi huylu bir veri kümesi üzerinde LLM’leri ince ayarlama eyleminin bile dahili model hizalamasını bozduğu ve yeni güvenlik açıkları ortaya çıkardığı gösterilmiştir.
Son olarak, şirketlerin üretimde çalışan AI destekli uygulamaların girdilerini ve çıktılarını doğrulamaları gerekir. Bir WAF’a benzer şekilde, bu, güvenlik ve emniyet tehditlerini algılayan bir AI güvenlik duvarı (veya bariyer) gerektirir. Etkinliği en üst düzeye çıkarmak için, bu, en son tehdit istihbaratı ve AI güvenlik araştırmasıyla bilgilendirilen modelden bağımsız bir çözüm olmalıdır. Bu, şirketleri saldırılardan koruyacak ve hassas veya toksik bilgileri ortaya çıkarabilecek istenmeyen yanıtları önleyecektir.
Yapay zekaya yönelik mevcut düzenleyici ortam hakkında ne düşünüyorsunuz?
Küresel AI düzenleyici ortamı o kadar hızlı bir şekilde gelişiyor ki en son standartlara ve mevzuata ayak uydurmak zor olabiliyor. Bu küresel girişimlerde yer alan ilkelerin çoğu ortak unsurlara sahip ancak her bölgenin endişelerine göre uyarlanmış. Tutarlı düzenleme yerine, NIST, MITRE, OWASP, US AI Safety Institute ve UK AI Safety Institute gibi çeşitli standart kuruluşları AI güvenliği konusunda yönergeler ve çerçeveler yayınladı. Robust Intelligence bu standartların geliştirilmesine katkıda bulundu. AI güvenliği en iyi uygulamalarını proaktif bir şekilde benimseyen şirketler için bir rehber görevi görüyorlar.
Önerilen AI emniyet ve güvenlik yasa tasarılarının sayısı artmış olsa da, bunlardan yalnızca birkaçı yasalaştı, çoğu AB AI Yasası. Bir avuç yasa, örneğin New York ve Colorado’da olduğu gibi eyalet düzeyinde yürürlüğe girdi.
Sonuç olarak, bu mevzuat henüz mevcut ve ortaya çıkan AI riskine karşı kapsamlı bir koruma sağlamıyor. Başkan Biden’ın AI Yürütme Emri, insanları ve toplumu AI riskine karşı anlamlı bir şekilde korumak için bugüne kadarki en etkili girişimlerden biriydi. Federal hükümetle sınırlı olsa da, AI güvenliği ve emniyeti gereklilikleri belirlidir. Emir ayrıca Başkan Biden’ın yasa çıkarmak için kongre ile çalışma isteğini ifade ediyor. Yakın gelecekte Kongre’nin bu tür yasa tasarıları üzerinde oy kullandığını görmemiz çok olası.
Yapay zeka güvenliği zorluklarının 5-10 yıl içinde nasıl gelişeceğini öngörüyorsunuz?
Şirketler giderek daha kullanışlı AI uygulamaları geliştirdikçe, bağlı sistemlerin sayısı şüphesiz artacaktır. Bu da, bu sistemleri istismar etmek isteyen kötü aktörlerin daha fazla dikkatini çekecektir. AI’nın umut vadeden uygulamalarından biri otonom ajanlardır. Yeni doğmuş olsa da, AI ajanları büyük bir umut vadediyor. Bu sistemler, AI’nın kullanıcılar adına seyahat güzergahı planlamak ve uçuşlarınızı ayırtmak gibi otomatik eylemler gerçekleştirmesini sağlar. AI güvenliğinin, bağlı sistemleri hedef alacak yeni AI saldırılarını belirlemek ve azaltmak için gelişmesi gerekecektir.