NCC Group’tan yeni bir teknik inceleme, makine öğrenimi modelleriyle ilişkili sayısız güvenlik tehdidini detaylandırıyor
Güvenlik danışmanlığı NCC Group tarafından yapılan yeni bir araştırma, kuruluşların güvenlik gereksinimlerini dikkate almadan uygulamalarında ve hizmetlerinde giderek artan bir şekilde makine öğrenimi (ML) modellerini kullandıklarını gösteriyor.
benzersiz yolları nedeniyle makine öğrenme Çalışma, eski ve bilinen tehditlerin çoğunun ML sistemleri için de geçerli olduğunu ekleyerek, geliştiricilerin genellikle farkında olmadığı yeni tehdit vektörlerini tanıtıyorlar.
Makine öğrenimi kullanımında artış
Chris Anley, “2015’ten bu yana ML sistemlerini kullanan müşterilerimizde istikrarlı bir artış gördük ve çok sayıda akademik literatür olmasına rağmen, o zamanlar ML’ye özgü güvenlik sorunları hakkında pek pratik bir tartışma yoktu,” dedi. NCC Group’ta baş bilim adamı ve çalışmanın yazarı, şunları söyledi: Günlük Swig.
Başlangıçta Anley, makine öğreniminin çok niş uygulamalarda kullanıldığını gördü. Ancak günümüzde ML modelleri, içerik önerisi veya iş akışı optimizasyonu gibi daha genel web alanlarında giderek daha fazla kullanılmaktadır.
“Artık müşteri desteği için kullanılan sohbet robotlarının ve duygu analizi ve metin sınıflandırma gibi diğer metin tabanlı uygulamaların oldukça popüler hale geldiğini görüyoruz. mahremiyet ve beklediğiniz güvenlik etkileri,” dedi Anley.
Geniş tehdit yelpazesi
Alanında dikkate değer bir çalışma, Makine Öğrenimi Sistemlerine Pratik Saldırılargerçek dünya uygulamalarında ML tehdit ortamının kapsamlı bir görünümünü sağlar.
Makine öğrenimi modellerine özgü bazı tehditleri ve bunların eğitim ve dağıtım ardışık düzenini ayrıntılarıyla anlatır:
- düşmanca saldırılar: Giriş verileri, ML modelinin davranışını değiştirmek için insan tarafından algılanamayan gürültü ile değiştirilir.
- Veri zehirlenmesi ve arka kapı saldırıları: Eğitim veri kümesi tehlikeye atılır ve eğitilen ML modelini belirli tetikleyicilere duyarlı hale getirmek için değiştirilir.
- Üyelik çıkarım saldırıları: Eğitim setinde belirli bir veri noktasının kullanılıp kullanılmadığını belirlemek için ML modelini sorgulama.
- Model ters çevirme saldırıları: Eğitim verilerini kısmen veya tamamen yeniden oluşturmak için ML modellerini sorgulama.
Bu tür tehditler akademik araştırmacılar tarafından kapsamlı bir şekilde incelenmiş ve belgelenmiş olsa da, NCC araştırmacıları bunları, kullanıcı kimliği doğrulama, sağlık sistemleri ve görüntü sınıflandırma yazılımı gibi gerçek dünya uygulamalarında ML modellerinin kullanıldığı pratik ortamlarda yeniden oluşturmaya odaklandı.
Bulguları, gerçek dünyada ML sistemlerine karşı saldırılar gerçekleştirmenin pratik olarak mümkün olduğunu gösteriyor.
BUNU DA BEĞENEBİLİRSİN Kuantum sonrası kriptografi, standardizasyon kilometre taşına ulaştı
Anley, “Bu saldırıların tam olarak nasıl çalıştığını açıklayan düzinelerce makalenin bulunmasının oldukça şaşırtıcı olduğunu düşünüyorum” dedi. “Bu makalelerdeki sonuçların birkaçını ‘demo’ biçiminde çoğalttık ve müşterilerle benzer hatlarda başarılı bir şekilde simüle edilmiş saldırılar gerçekleştirdik. Bu gizlilik saldırıları, örneğin, olduğu kadar basit olmasa da, SQL enjeksiyonu– güdümlü veri ihlali[es]kesinlikle pratikler.”
Çalışma ayrıca makine öğrenimi modellerinde gömülü olan kötü amaçlı yüklere karşı ML sistemlerinin genellikle savunmasız olduğunu gösteriyor. kaynak kodundaki güvenlik açıkları makine öğrenimi kitaplıkları, makine öğrenimi ardışık düzenlerindeki güvenlik açıkları, web’de barındırılan makine öğrenimi sistemlerine yönelik SQL enjeksiyon saldırıları ve tedarik zinciri saldırıları makine öğrenimi yazılımında kullanılan bağımlılıklara karşı.
Karmaşık veri güvenliği ortamı
Anley, “Veri ihlalleri her zaman bir endişe kaynağıdır ve ML’nin gizlilik risklerini değiştiren bazı temel yönleri vardır” dedi.
İlk olarak, ML sistemleri eğitildikleri veri hacmi arttıkça daha iyi performans gösterirler. kuruluşlar potansiyel olarak büyük hacimli hassas bilgileri işlemek zorunda.
İkincisi, eğitilmiş modellerin rol tabanlı giriş kontrolu – tüm eğitim verileri aynı modelde toplanır.
Üçüncüsü, deneyler makine öğrenimi geliştirmenin çok önemli bir parçasıdır, bu nedenle büyük hacimli verilerin geliştiriciler tarafından erişilebilir olması önemlidir.
Anley, “Özellikle uygulama hassas verileri işliyorsa, bu sorunlar nedeniyle ML sistemlerinin güvenliğini sağlamak zor olabilir” dedi. “Geliştiricilerin artık genellikle son derece güçlü kimlik bilgilerine erişimi var, bu nedenle kimin ne yapması gerektiğini dikkatlice düşünmek ve işi engellemeden yapabileceğiniz yerleri kısıtlamak önemlidir.”
Web’deki makine öğrenimi tehditleri
Anley, ML sistemlerinin ortaya çıkan tehditlerinin web ekosistemi için doğrudan sonuçları olduğu konusunda uyarıyor.
“Bence literatürden ortaya çıkan ana endişe, eğitimli bir modelden eğitim verilerini, web’de barındırılsa bile, bir API sunucu ve hatta bazı oldukça katı koşullar altında” dedi.
En son bilgi güvenliği araştırma haberlerinin devamını okuyun
Anley ve meslektaşlarının araştırmalarında yeniden ürettikleri de dahil olmak üzere çeşitli çalışmalar, bilgi çıkarma saldırılarının yalnızca sınıf etiketleri üreten makine öğrenimi sistemlerine karşı uygulanabilir olduğunu göstermektedir; bu, birçok web tarafından barındırılan makine öğrenimi hizmetinin çalışma şeklidir.
Web’de sunulan ve son yıllarda çok popüler hale gelen önceden eğitilmiş makine öğrenimi modelleri özel bir endişe kaynağıdır. Kendi ML modellerini eğitmek için gereken becerilere veya kaynaklara sahip olmayan geliştiriciler, önceden eğitilmiş modelleri çeşitli web platformlarından birinden indirebilir ve bunları doğrudan uygulamalarına entegre edebilir.
Ancak önceden eğitilmiş modeller, Anley’nin makalesinde tartıştığı tehdit ve saldırıların kaynağı olabilir.
“Eğitimli modellerin kendileri genellikle kod içerebilir, bu nedenle dikkatli bir şekilde ele alınmaları gerekir” diye açıkladı. “Eğitim modelleri pahalı olduğu için, önceden eğitilmiş modellerin bulunduğu ‘model hayvanat bahçelerinin’ ortaya çıktığını gördük. Bunların açıkça koda uygulayacağınız kontrollerle aynı şekilde ele alınması gerekiyor.”
Güvenli geliştirme paket servis
Makine öğrenimi destekli uygulamaların ortaya çıkardığı tehditlerle nasıl başa çıkacağımızı hâlâ öğreniyoruz. Ancak bu arada, Anley’in makine öğrenimi çoğunluğunu kullanan web geliştiricileriyle paylaşmak için bazı önemli önerileri vardı:
- “Modeliniz hassas veriler üzerinde eğitildiyse, hassas veriler üzerinde eğitim almanıza gerek kalmaması için uygulamanızı yeniden düzenlemeyi düşünün.”
- “Kesinlikle hassas veriler üzerinde eğitim almanız gerekiyorsa, farklı gizlilik tekniklerini, hassas verilerin anonimleştirilmesini veya tokenleştirilmesini düşünün.”
- “Harici koda uyguladığınız aynı tedarik zinciri kontrollerini harici modellere uygulayın.”
- “Eğitim verilerinizi dikkatli bir şekilde düzenleyin ve kötü amaçlarla değiştirilemeyeceğinden emin olmak için kontroller uygulayın.”
- “kimlik doğrulama, hız sınırı ve modellere denetim erişimi. Modeliniz düşmanca bozulmalardan etkilenebilecek hassas kararlar alıyorsa, modeli bu saldırılara karşı daha dirençli hale getirmek için bir eğitim yöntemi uygulama konusunda tavsiye almayı düşünün.”
ÖNERİLEN Merkezi Olmayan Tanımlayıcılar: Yeni nesil web kimliği teknolojisi hakkında bilmeniz gereken her şey