FDA, Yapay Zeka Destekli Cihazlara Yönelik Rehberlikte Siber Riskler Konusunda Uyardı

Gıda ve İlaç İdaresi FDA, çoğu son beş yılda olmak üzere yapay zeka ve makine öğrenimi içeren 1.000’den fazla cihazı onayladı ve Salı günü yayınlanan yeni kılavuz taslağında kurum, her iki pazar öncesi sunumda da siber güvenlik sorunlarının ele alınması gerektiğini vurguladı. ajansı ve yapay zeka destekli tıbbi ürünlerin yaşam döngüsü yönetiminde.

Bağlayıcı olmayan FDA taslak kılavuzu “Yapay Zeka Destekli Cihaz Yazılım İşlevleri: Yaşam Döngüsü Yönetimi ve Pazarlama Sunum Önerileri”, 7 Nisan’a kadar kamuoyunun yorumuna açık.

Belge, makine öğrenimi, derin öğrenme ve sinir ağlarının yanı sıra diğer yapay zeka türlerini de içeren bir veya daha fazla yapay zeka özellikli cihaz yazılımı işlevine sahip tıbbi cihazların geliştiricileri ve üreticileri için geçerli olan çok çeşitli pazar öncesi ve yaşam döngüsü yönetimi hususlarını kapsamaktadır. AI.

Siber güvenlik, siber konulara ilişkin bir bölümün de yer aldığı 67 sayfalık belgede ele alınan önemli bir konu.

FDA, “Tıbbi bir cihaza entegre edilen herhangi bir dijital veya yazılım bileşeninde olduğu gibi, yapay zeka da siber güvenlik riskleri oluşturabilir” diye yazıyor.

FDA’nın halihazırda genel tavsiyeleri var Tümü Tıbbi cihaz üreticilerinin siber güvenliği tasarlaması ve sürdürmesinin yanı sıra ilgili siber ayrıntıları pazarlama öncesi sunumda ajansa sağlaması, daha önce FDA’nın 2023 kılavuz belgesi olan “Tıbbi Cihazlarda Siber Güvenlik: Kalite Sistemi Hususları ve Pazar Öncesi Gönderimlerin İçeriği”nde sağlanmıştı (bkz. : Yeni Cihaz Siber Kayıtlarının Etkinleşmesiyle birlikte FDA Yönergeyi Sonlandırdı).

FDA, daha geniş kapsamlı, daha önceki rehberliğin yapay zeka destekli cihazlarla da ilgili olduğunu söylese de, ajansın en son taslak belgesi siber ile ilgili konuları ve çeşitli siber tehditlerin özellikle yapay zeka destekli ürünleri nasıl etkileyebileceğini ayrıntılarıyla ele alıyor.

Bu tehditler şunları içerir:

• Kötü aktörlerin kasıtlı olarak orijinal olmayan veya kötü niyetli olarak değiştirilmiş verileri enjekte etmesini içeren veri zehirlenmesi, potansiyel olarak tıbbi teşhis gibi alanlardaki sonuçları etkileyebilir.
• Tehdit aktörlerinin modellerden ayrıntı çıkarmak veya modelleri kopyalamak için sahte veya değiştirilmiş verileri kasıtlı olarak kullandığı ve potansiyel olarak model performansının devamı ve fikri mülkiyet ve gizlilik ihlalleri açısından risk teşkil eden modelin tersine çevrilmesi ve hırsızlığı;
• Bilgisayar korsanlarının, modelleri aldatmak için girdi örneklerini kasıtlı olarak oluşturduğu veya değiştirdiği, bu da onları yanlış sınıflandırmalara yönlendiren model kaçırma. Bunlar, model tahminlerinin güvenilirliğine ve bütünlüğüne yönelik riskler oluşturur, potansiyel olarak yapay zeka özellikli cihazlara olan güveni zayıflatır ve bunları kötü niyetli istismara maruz bırakır;
• Modellerdeki hassas eğitim veya çıkarım verilerine erişmek için güvenlik açıklarından yararlanılmasını içeren veri sızıntısı;
• Tehdit aktörlerinin kasıtlı olarak bir modele “fazla uyum sağladığı” ve bu bileşenlerin değiştirilmiş hasta verilerine etkili bir şekilde uyum sağlamaya çalışırken AI bileşenlerini rakip saldırılara maruz bıraktığı aşırı uyum;
• Tehdit aktörlerinin önyargıları ortaya çıkarmak veya vurgulamak için eğitim verilerini manipüle ettiği model önyargısı. Bilgisayar korsanları, karşıt örnekleri kullanarak bilinen önyargılardan yararlanabilir, daha sonra önyargılı davranışları tetiklemek için eğitim sırasında arka kapılar yerleştirebilir veya doğal önyargılara sahip önceden eğitilmiş modellerden yararlanarak bunları çarpık ince ayar verileriyle güçlendirebilir.
• Manipülasyon, temeldeki veri dağılımını değiştirerek “model performansında sapmaya” yol açabilir ve bu da model performansını düşürebilir.

Model performansındaki sapmalar ve diğer siber tehditler “zaman içinde girdi verilerini hafifçe değiştirebilir veya dinamik ortamlardaki güvenlik açıklarından yararlanarak modelin yanlış tahminler yapmasına veya düşman saldırılarına karşı daha duyarlı hale gelmesine neden olabilir.”

Kritik Hususlar

Bazı uzmanlar, FDA’nın taslak kılavuzunun yapay zeka özellikli cihaz üreticileri ve kullanıcıları için önemli konuları gündeme getirdiğini söyledi.

Prompt Security’nin kurucu ortağı ve CEO’su ve büyük dil modeli tabanlı uygulamalar için Açık Web Uygulama Güvenliği Projesi İlk 10’un çekirdek üyesi Itamar Golan, “Yapay zeka benzersiz bir dizi risk teşkil ediyor” dedi.

FDA kılavuzunda açıklandığı gibi, bu risklerin veri zehirlenmesi ve hızlı enjeksiyondan aşırı uyum, model önyargıları ve daha fazlasına kadar değişebileceğini söyledi. “Bu riskler yapay zeka kullanan hemen hemen her sektör ve kuruluş için geçerli olsa da sağlık hizmetleri gibi riskli bir ortamda sonuçları yıkıcı olabilir” dedi.

“Belirli girdilere dayalı olarak manipüle edilmiş çıktılar üretmek üzere onu tetikleyebilecek belirli bir kurulum üzerinde eğitilmiş bir Yüksek Lisans kullanan bir tıbbi cihaz hayal edin” dedi. Örneğin, hem vücuttan hem de buluttan veri alan, LLM’ye dayanan bir kalp pili düşünün, dedi. “Eğer bu LLM eğitim sırasında zehirlendiyse, kötü niyetli davranabilir; örneğin bulut üzerinden sağlanan ‘erkek’, ‘Yahudi’ veya ‘Amerikalı’ gibi terimlerle kötü tepki vermek gibi. Bu teorik değil, gerçek bir saldırı senaryosu.”

FDA taslak kılavuzu aynı zamanda yapay zeka destekli cihazların üreticilerine, kuruma pazarlama öncesi başvuru ayrıntılarını sağlamalarını ve bu ve diğer siber bağlantılı risk ve tehditleri ele almak için hafifletme ve yönetim planları geliştirmelerini tavsiye ediyor.

Ontario’daki St. Joseph Healthcare’de dijital çalışma alanı operasyonları ve dijital çözümler müdürü Dave Perry, yapay zeka özellikli cihaz üreticilerinin geliştirme ve ürün yaşam döngüsü boyunca bu ve diğer siber sorunları ele almalarının kritik öneme sahip olduğunu söyledi.

“Hasta güvenliği ve veri koruması, hasta yolculuğunda yer alan tüm tarafların önceliği olmalıdır ve bu erken aşamada yapay zekanın eklenmesi yalnızca bu önemi ve riski artırır” dedi.

“Yapay zeka güvenliği henüz başlangıç ​​aşamasında ve bütçelerin daralması, BT departmanları için bunu daha da göz korkutucu bir istek haline getiriyor. Yapay zeka tıbbi cihaz satıcılarının, marka bütünlüğünü ve ayakta kalabilmesini sağlamak için güvenliğin tasarımdan pazara kadar bir öncelik olmasını sağlaması gerekiyor. hızla ısınıyor” dedi.

Ayrıca, “tıbbi cihazlar, yerleşik yazılım için ihtiyaç duydukları güncellemeleri nadiren alırlar” dedi. “Mevcut olsa bile, bu önemli güncellemelerin iletilmesi çoğu zaman fark edilmiyor veya personel alımı nedeniyle daha düşük bir öncelik taşıyor” dedi. “Örneğin, anında eklemeye ve güncellenmemeye karşı hassas olan eski yapay zeka modelleri, geleneksel açık bağlantı noktası veya basit parola olarak tuttukları veriler için büyük bir risk teşkil ediyor.”

İleriye Bakış

Akerman hukuk firmasından düzenleme avukatı Betsy Hodge, FDA’nın taslak kılavuzunun cihaz üreticileri için bağlayıcı olmasa da belgenin ajansın yapay zeka destekli tıbbi cihazlara ilişkin mevcut düşüncelerini açıkladığını söyledi.

“Düzenleyicilerin bir soruna nasıl yaklaştıklarını anlamak her zaman yararlı olur” dedi. “Taslak kılavuz aynı zamanda cihaz üreticilerine ve cihaz dağıtıcılarına, cihazın güvenliğini ve etkinliğini en iyi şekilde sağlamak için ürün yaşam döngüsüne kapsamlı bir yaklaşım benimsemelerini hatırlatıyor” dedi.

Örneğin, yapay zeka özellikli cihazların, geliştirme aşamasında giriş verileri konusunda, cihaz gerçek dünyada konuşlandırıldığında kullanılan giriş verilerine kıyasla farklı hassasiyetlere sahip olabileceğini söyledi.

“Yapay zeka destekli tıbbi cihaz üreticilerinin, ürünlerinin yaşam döngüsünde siber güvenlik sorunlarını dikkate alması zorunludur çünkü siber güvenlik tehditleri, bir cihazın güvenliğini ve/veya etkinliğini tehlikeye atabilir ve potansiyel olarak hastalara zarar verebilir.”

Crowell & Moring LLP hukuk firmasından düzenleyici avukat Linda Malek, FDA’nın taslak kılavuzunun bağlayıcı olmasa da, tıbbi cihaz üreticilerine cihazlarını genel olarak ürünlerinin güvenliğini ve kullanımını etkileyebilecek siber tehditlerden korumalarına yardımcı olacak “yararlı bir yol haritası” olduğunu söyledi.

“Şirketlerin bu tavsiyelerin çoğunu bu perspektiften değerlendirip uygulaması ticari anlamda mantıklıdır” dedi.

Malek, yine de ABD Başkanlık yönetimlerinde yaklaşan değişiklik nedeniyle “bu taslak kılavuzda muhtemelen gecikmeler ve/veya önemli değişiklikler olacak, dolayısıyla nihai kılavuzun nasıl görüneceğini tahmin etmek şu anda zor” dedi. Bununla birlikte, taslak kılavuzun “AI destekli tıbbi cihazların korunmasında ileriye doğru atılmış önemli bir adım” olduğunu söyledi.