Yapay Zeka Tabanlı Saldırılar, Yapay Zeka ve Makine Öğrenimi, Dolandırıcılık Yönetimi ve Siber Suçlar
NIST, Veri Zehirleme Saldırılarının Makine Öğrenimi Güvenliğine Kritik Tehdit Olduğu Uyarısında Bulundu
Akşaya Asokan (asokan_akshaya) •
5 Ocak 2024
Ulusal Standartlar ve Teknoloji Enstitüsü’ndeki bilim insanları, makine öğrenimi sistemlerinin, bilgisayar korsanlarının güvenlikten kaçmasına ve hızlı veri sızıntılarına yol açabilecek siber saldırılara karşı savunmasız olduğu konusunda uyardı. Araştırmacılar, bu saldırıların bazılarına karşı “kusursuz bir savunmanın” bulunmadığını söyledi.
Ayrıca bakınız: İsteğe Bağlı | İnsan Davranışını Anlamak: Perakendenin ATO ve Dolandırıcılığı Önleme Zorluklarıyla Mücadele
NIST araştırmacıları, rakip makine öğrenimi tehditleri üzerine yeni bir makalede, veri seti eğitiminden, yazılım bileşenlerindeki güvenlik açıklarından ve tedarik zinciri zayıflıklarından kaynaklanan tahmine dayalı ve üretken yapay zeka modellerine yönelik ortaya çıkan siber tehditleri ayrıntılarıyla anlatıyor.
En kritik tehditlerden biri, bilgisayar korsanlarının sistem işlevlerini değiştirmek için bozuk verileri kullandığı veri zehirlenmesi saldırılarıdır. Bu tehditler arasında halihazırda konuşlandırılmış yapay zeka sistemlerini tehlikeye atmaya yönelik kaçınma taktikleri, bilgi sızıntılarına yol açabilecek saldırılar ve bilgisayar korsanlarının yapay zeka modellerinde değişiklik yapmak için güvenliği ihlal edilmiş bir kaynaktan bilgi beslediği kötüye kullanma taktikleri yer alıyor.
Raporun ortak yazarı ve Northeastern Üniversitesi’nde profesör olan Alina Oprea, “Bu saldırıların çoğunun kurulumu oldukça kolaydır ve AI sistemi hakkında minimum bilgi ve sınırlı düşman yetenekleri gerektirir” dedi. “Örneğin zehirleme saldırıları, birkaç düzine eğitim örneğinin kontrol edilmesiyle gerçekleştirilebilir; bu, tüm eğitim setinin çok küçük bir yüzdesini oluşturur.”
NIST araştırmacıları, bu saldırıların karmaşıklığının ve gerçekleştirilmesinin bilgisayar korsanlarının yapay zeka sistemi hakkındaki bilgi düzeyine bağlı olarak değiştiğini söyledi. NIST, saldırganları üç ana alt gruba ayırıyor: Yapay zeka sistemi hakkında tam bilgiye sahip beyaz kutu korsanları, minimum erişime sahip sanal alan korsanları ve yapay zeka modelleri hakkında bilgi sahibi olabilen ancak eğitim verilerine erişimi olmayan gri kutu korsanları.
Beyaz kutu korsanları veri zehirleme saldırıları gerçekleştirdiğinde, spam filtrelerini yanlış sınıflandırmak ve güvenlik algılamasından kaçınmak için eğitim aşamasında bozuk verileri bağlayabilir, hızlı enjeksiyon gerçekleştirebilir ve hizmet reddi saldırıları gerçekleştirmek için trafik sinyallerini taklit edebilir.
NIST raporuna göre, gri kutu bilgisayar korsanları, bilgisayar korsanlarının farklı sistemlerde kötü amaçlı kod üretip bunu hedef modele aktararak saldırganların modelleri kandırmasına olanak tanıyan aktarılabilirlik saldırıları gerçekleştirmek için veri zehirlenmesini kullanabilir.
Bilgisayar korsanları, kaçırma taktiklerini kullanarak eğitim verilerine tam erişim sağlayabilir ve model tahminleri elde etmek veya AI modelinin tahminlerini değiştirerek yanlış sınıflandırmaya neden olmak için API’leri sorgulayabilir. Araştırmacılar, bu tür taktiklerin bir AI modelinin kötü amaçlı yazılım sınıflandırmasını ve tespit yeteneklerini değiştirmek için kullanılabileceğini söyledi.
NIST araştırmacıları, hassas verileri sızdırmak için hızlı enjeksiyonun gizlilik saldırılarında birincil tehdit olmaya devam ettiğini söyledi. Bunlar arasında, kullanıcıların üçüncü taraf verilerini ifşa etmek için sohbet robotlarını sorgulayan ve kimlik bilgileri gibi hassas bilgileri ifşa etmek için yapay zeka modellerini kandıran bilgisayar korsanları yer alıyor.
Araştırmacılar, açık kaynak kitaplıkları gibi yapay zeka tedarik zincirlerinden ortaya çıkan güvenlik açıklarının, saldırganların uzaktan kod yürütme ve veri sızdırma için büyük dil modellerini jailbreak yapmasına olanak tanıyan başka bir olası saldırı vektörü olduğunu söyledi. Araştırmacılar, örneklerin arasında popüler açık kaynaklı makine öğrenimi çerçevesi TensorFlow’da bulunan uzaktan kod yürütme kusurunun ve açık kaynaklı bir Python kütüphanesi olan NumPy’deki rastgele kod kusurunun yer aldığını söyledi.
“Bir yapay zekayı eğitmek için kullanılan veri kümeleri insanların başarılı bir şekilde izlemesi ve filtrelemesi için çok büyük olduğundan, yapay zekayı yanlış yönlendirmeden korumanın henüz kusursuz bir yolu yok” dediler.
NIST araştırmacıları, bilgisayar korsanlarının potansiyel suiistimallerini önlemek için, modellere ince ayar yaparken uygun insan gözetiminin sağlanması, temiz veri girişi için eğitim verilerinin filtrelenmesi ve makine öğrenimi eğitimi gerçekleştirilmeden önce zehirli örneklerin kaldırılması dahil olmak üzere temel hijyen uygulamalarının takip edilmesini öneriyor.