Uluslararası Af Örgütü, İsveç’in algoritmik olarak desteklenen sosyal yardım sisteminin sosyal yardım dolandırıcılığı soruşturmaları için orantısız bir şekilde İsveç toplumundaki dışlanmış grupları hedef aldığını ve bu sistemin derhal durdurulması gerektiğini söyledi.
Lighthouse Reports ve Svenska Dagbladet (SvB) tarafından 27 Kasım 2024’te yayınlanan bir araştırma, İsveç Sosyal Sigorta Kurumu Försäkringskassa tarafından kullanılan makine öğrenimi (ML) sisteminin, kadınlar da dahil olmak üzere sosyal yardım dolandırıcılığı konusunda daha fazla soruşturma yapılması için belirli grupları orantısız bir şekilde işaretlediğini ortaya çıkardı. , “yabancı” kökenli bireyler, düşük gelirli kişiler ve üniversite diploması olmayan kişiler.
Vakaların algoritmalar tarafından işaretlendiği dolandırıcılık soruşturmalarının sonuçlarına ilişkin toplu verilerin analizine dayanan soruşturma, sistemin bir tür sosyal güvenlik dolandırıcılığı yapan erkekleri ve zenginleri tespit etmede de büyük ölçüde etkisiz olduğunu ortaya çıkardı.
Försäkringskassa tarafından 2013 yılında kullanıma sunulan makine öğrenimi destekli sistem, sosyal yardım sahtekarlığını tespit etmek için sosyal güvenlik başvuru sahiplerine risk puanları veriyor ve risk puanı yeterince yüksekse otomatik olarak bir soruşturma başlatıyor.
En yüksek risk puanına sahip olanlar, kurumun suç kastı şüphesi bulunan vakalarla ilgilenen “kontrol” departmanına yönlendirilirken, daha düşük puana sahip olanlar, suç kastı varsayımı olmadan soruşturulacakları vaka çalışanlarına yönlendiriliyor.
Vakalar dolandırıcılık soruşturmacılara bildirildiğinde, soruşturmaların bir parçası olarak kişinin sosyal medya hesaplarını tarama, okul ve banka gibi kurumlardan veri toplama ve hatta kişinin komşularıyla röportaj yapma yetkisine sahip oluyorlar. Sosyal güvenlik sistemi tarafından yanlış bir şekilde işaretlenenler, sosyal yardım haklarına erişimde gecikmeler ve yasal engellerle karşılaştıklarından şikayetçi oldular.
Amnesty Tech’in kıdemli araştırmacı araştırmacısı David Nolan, “Bütün sistem, sosyal yardım dolandırıcılığı soruşturması nedeniyle işaretlenen herkese yönelik bir cadı avına benziyor” dedi. “Yapay zeka ile ilgili temel sorunlardan biri [artificial intelligence] Sosyal güvenlik kurumları tarafından uygulanan sistemlerin en önemli özelliği, önceden var olan eşitsizlikleri ve ayrımcılığı daha da kötüleştirebilmeleridir. Bir kişi işaretlendiğinde, ona baştan itibaren şüpheyle yaklaşılır. Bu son derece insanlık dışı olabilir. Bu, açıkça ön yargılı bir sistem tarafından insanların sosyal güvenlik haklarının, eşitlik ve ayrımcılık yasağının ve mahremiyet haklarının ihlal edildiğinin açık bir örneğidir.”
Adillik ölçütlerine göre test etme
SvB ve Lighthouse Reports, yalnızca İsveç Sosyal Güvenlik Müfettişliği’nin (ISF) daha önce aynı verileri talep etmesi nedeniyle mümkün olan toplu verileri kullanarak, algoritmik sistemi demografik eşitlik, tahmine dayalı eşitlik ve tahmin eşitliği dahil olmak üzere altı standart istatistiksel adalet ölçüsüne göre test edebildi. Yanlış pozitif oranlar.
Bulgular, İsveç sisteminin orantısız bir şekilde İsveç toplumunda zaten dışlanmış grupları hedef aldığını doğrulasa da, Försäkringskassa’nın, araştırmacılar tarafından sunulan bir dizi bilgi edinme özgürlüğü (FOI) talebini reddederek sistemin iç işleyişi konusunda tam olarak şeffaf olmadığını belirttiler. .
Analizlerini Försäkringskassa’nın analitik başkanı Anders Viseth’e sunduklarında onun bunu sorgulamadığını ve bunun yerine herhangi bir sorun tespit edilmediğini savunduğunu eklediler.
“Yaptığımız seçimleri dezavantaj olarak görmüyoruz” dedi. “Bireysel vakalara bakıyoruz ve bunları hata olasılığına göre değerlendiriyoruz ve seçilenler adil bir şekilde yargılanıyor. Bu modellerin elimizdeki en doğru modeller arasında olduğu kanıtlanmıştır. Ve kaynaklarımızı maliyet etkin bir şekilde kullanmalıyız. Aynı zamanda kimseye ayrımcılık yapmıyoruz ama ayrımcılık kanununa uyuyoruz.”
Computer Weekly, soruşturma ve Uluslararası Af Örgütü’nün sistemin durdurulması yönündeki çağrısı hakkında Försäkringskassa ile temasa geçti.
Ajansın bir sözcüsü, “Försäkringskassa, İsveç sosyal güvenlik sistemini hedef alan suç faaliyetlerini önleme konusunda önemli bir sorumluluk taşıyor” dedi. “Bu makine öğrenimi tabanlı sistem, İsveçli vergi mükelleflerinin parasını korumak için kullanılan çeşitli araçlardan biridir.
“Daha da önemlisi, sistem İsveç yasalarına tamamen uygun şekilde çalışıyor. Sistemin bireyleri değil, belirli uygulamaları işaretlediğini belirtmekte fayda var. Ayrıca, işaretlenmek otomatik olarak bir soruşturmaya yol açmaz. Ve eğer bir başvuru sahibi sosyal yardımlardan yararlanma hakkına sahipse, başvurusunun işaretlenip işaretlenmediğine bakılmaksızın bu yardımları alacaktır. Şeffaflığa olan ilgiyi anlıyoruz; ancak sistemin nasıl çalıştığına ilişkin ayrıntıların ortaya çıkarılması, bireylerin tespit etmeyi atlamasına olanak tanıyabilir. Bu görüş, İdare Temyiz Mahkemesi tarafından da onaylanmıştır (Stockholms Kammarrätt, dava no. 7804-23).
Nolan, sistemin kullanımı devam ederse İsveç’in, vergi otoritelerinin çoğunlukla düşük gelirli ailelerden on binlerce ebeveyni ve bakıcıyı sahtekarlıkla suçlamak için algoritmalar kullandığı Hollanda’dakine benzer bir skandala doğru uyurgezerlik yapıyor olabileceğini söyledi. aynı zamanda etnik azınlık kökenli insanlara da orantısız bir şekilde zarar verdi.
“İsveç yetkililerinin sistemin iç işleyişini anlamamıza izin vermeyen şeffaf olmayan yanıtı ve Yapay Zeka Yasası kapsamındaki sosyal puanlama yasağının belirsiz çerçevesi göz önüne alındığında, bu özel sistemin yapay zeka kapsamına nerede gireceğini belirlemek zor. Act’in yapay zeka sistemlerinin risk temelli sınıflandırması” dedi. “Ancak sistemin eşitlik ve ayrımcılık yapmama hakkını ihlal ettiğini gösteren yeterli kanıt var. Bu nedenle sistemin derhal durdurulması gerekiyor” dedi.
1 Ağustos 2024’te yürürlüğe giren Yapay Zeka Yasası uyarınca, yapay zeka sistemlerinin kamu yetkilileri tarafından temel kamu hizmetlerine ve faydalarına erişimi belirlemek için kullanılması, dağıtımcıların bir taahhüt yerine getirme yükümlülüğü de dahil olmak üzere katı teknik, şeffaflık ve yönetişim kurallarına uygun olmalıdır. insan hakları risklerinin değerlendirilmesi ve bunların kullanılmadan önce hafifletici önlemlerin alındığının garanti edilmesi. Sosyal puanlama aracı olarak kabul edilen belirli sistemler yasaktır.
İsveç’in ISF’si daha önce 2018’de Försäkringskassa tarafından kullanılan algoritmanın “mevcut tasarımında [the algorithm] Her ne kadar kurum o dönemde analizin kusurlu olduğunu ve şüpheli gerekçelere dayandığını ileri sürerek geri adım atmış olsa da eşit muameleyi karşılamıyor” dedi.
Daha önce Försäkringskassa’da çalışan bir veri koruma görevlisi de 2020’de sistemin işleyişinin Avrupa Genel Veri Koruma Yönetmeliği’ni ihlal ettiği konusunda uyardı, çünkü otoritenin kişilerin profilini çıkarmak için yasal bir dayanağı yoktu.
13 Kasım’da Uluslararası Af Örgütü, Danimarka’nın sosyal yardım kuruluşu tarafından kullanılan yapay zeka araçlarının nasıl zararlı kitlesel gözetimler yarattığını, engelli insanlara, ırk ayrımcılığına uğramış gruplara, göçmenlere ve mültecilere karşı ayrımcılık riskine yol açtığını ortaya çıkardı.