Uluslararası Af Örgütü’nün analizine göre, Danimarka sosyal yardım otoritesi tarafından kullanılan yapay zeka (AI) araçları bireysel mahremiyeti ihlal ediyor, ayrımcılık riskine giriyor ve Avrupa Birliği (AB) AI Yasası’nın sosyal puanlama sistemlerine ilişkin düzenlemelerini ihlal ediyor.
Beş belediyede çeşitli sosyal yardımların ödemesini merkezileştirmek amacıyla 2012 yılında kurulan Udbetaling Danmark (UDK veya Payout Danimarka), daha fazla araştırma için sosyal yardım dolandırıcılığı yapma riski en yüksek olduğu düşünülen kişileri işaretlemek için yapay zeka destekli algoritmalar kullanıyor. Bunlar, Danimarka’nın en büyük emeklilik işleme şirketi ATP ve çeşitli çokuluslu özel şirketlerle ortaklaşa geliştirildi.
Raporda, UDK’nın dolandırıcılık kontrol algoritmalarının, gizlilik, eşitlik ve sosyal güvenlik hakları da dahil olmak üzere, sosyal güvenlik yardımlarından yararlananların insan haklarını nasıl ihlal ettiği ayrıntılarıyla anlatılıyor. Ayrıca sistemin, engelli insanlar, düşük gelirli bireyler ve göçmenler de dahil olmak üzere bazı dışlanmış grupların sosyal yardımlara erişiminin önünde bir engel oluşturduğu sonucuna varıyor.
Uluslararası Af Örgütü’nün yapay zeka ve insan hakları araştırmacısı Hellen Mukiri-Smith, “Bu kitlesel gözetleme, koruması gereken insanları desteklemek yerine hedef alma riski taşıyan bir sosyal yardım sistemi yarattı” dedi.
“Danimarka otomatik refah sisteminin çalışma şekli, bireysel mahremiyeti aşındırıyor ve insan onurunu zedeliyor. Yetkililer, sosyal yardım dolandırıcılığını tespit etmek için dolandırıcılık kontrol algoritmalarını ve geleneksel gözetim yöntemlerini uygulayarak, dijitalleştirilmiş kitlesel gözetimi mümkün kılıyor ve genişletiyor.”
Uluslararası Af Örgütü, UDK’nın dolandırıcılık tespit sisteminin muhtemelen 1 Ağustos 2024’te yürürlüğe giren AB Yapay Zeka Yasası kapsamındaki “sosyal puanlama” yasağı kapsamına girdiğini savunuyor.
Yasa, AI sosyal puanlama sistemlerini, bireyleri veya grupları sosyal davranış veya kişisel özelliklere göre “değerlendiren veya sınıflandıran” ve bu kişilere “zararlı veya olumsuz muameleye” neden olan sistemler olarak tanımlıyor.
Mukiri-Smith şunları söyledi: “Uluslararası Af Örgütü’nün topladığı ve analiz ettiği bilgiler, UDK ve ATP tarafından kullanılan sistemin yeni AB Yapay Zeka Yasası kapsamında bir sosyal puanlama sistemi olarak işlev gördüğünü ve bu nedenle yasaklanması gerektiğini gösteriyor.”
UDK ve ATP, Uluslararası Af Örgütü’ne belirli algoritmik sistemlerin tasarımına ilişkin redakte edilmiş belgeler sağladı ve iddiaya göre, kendi algoritmalarında kullanılan kod ve verilere tam erişim sağlamayı reddederek, Uluslararası Af Örgütü’nün işbirlikçi denetim taleplerini reddetti.
Danimarka makamı ayrıca, Uluslararası Af Örgütü’nün dolandırıcılık tespit sisteminin muhtemelen Yapay Zeka Yasası’nın sosyal puanlama yasağı kapsamına girdiği yönündeki değerlendirmesini de reddetti, ancak bu gerekçeye ilişkin bir açıklama sunmadı.
Buna yanıt olarak Uluslararası Af Örgütü, Avrupa Komisyonu’na, Yapay Zeka Yasası rehberinde yapay zeka uygulamalarının bir sosyal puanlama sistemi oluşturduğuna ilişkin net yönergeler yayınlaması çağrısında bulundu. Örgüt ayrıca Danimarkalı yetkililerden, bu yasağın kapsamına girmediği teyit edilene kadar sistemi kullanmayı bırakmalarını talep etti.
Mukiri-Smith şunları ekledi: “Danimarka yetkilileri, dolandırıcılık kontrolü amacıyla risk puanlamasında ‘yabancı bağlantı’ ile ilgili verilerin veya vekil verilerin kullanımına ilişkin açık ve yasal olarak bağlayıcı bir yasağı acilen uygulamalıdır. Ayrıca dolandırıcılık kontrol algoritmalarının geliştirilmesi ve uygulanmasında sağlam şeffaflık ve yeterli gözetim sağlamalıdırlar.”
Computer Weekly, Uluslararası Af Örgütü’nün iddialarıyla ilgili olarak UDK ile temasa geçti ancak yayınlandığı tarihte herhangi bir yanıt alamadı.
Gizliliğin ihlali
UDK, ATP’nin yanı sıra, sahte sosyal yardım uygulamalarını tespit etmek ve bireyleri Danimarkalı yetkililer tarafından daha fazla araştırılmak üzere işaretlemek için 60’a kadar algoritmadan oluşan bir sistem kullanıyor.
Bu modelleri güçlendirmek için Danimarkalı yetkililer, milyonlarca Danimarkalının kamuya açık veritabanlarından kişisel verilerin kapsamlı şekilde toplanmasını ve birleştirilmesini sağlayan yasalar çıkardı. Bu, ikamet durumu, vatandaşlık ve aynı zamanda bir kişinin ırkı, etnik kökeni veya cinsel yönelimi için temsili görevi görebilecek diğer verileri içerir.
Mukiri-Smith şunları ekledi: “Bu geniş gözetleme makinesi, bir kişinin hayatının çoğu zaman gerçeklikten kopuk olan panoramik bir görünümünü belgelemek ve oluşturmak için kullanılıyor. Sosyal yardım talebinde bulunan kişinin nerede yaşadığını, çalıştığını, seyahat geçmişini, sağlık kayıtlarını, hatta yabancı ülkelerle bağlarını bile takip ediyor ve takip ediyor.”
Uluslararası Af Örgütü’nün görüştüğü kişiler, dolandırıcılık soruşturmacıları ve vaka çalışanları tarafından gözetim altında tutulmanın psikolojik etkilerini anlattı. Dansk Handikap Vakfı’ndan Stig Langvad, yardım dolandırıcılığı nedeniyle soruşturulma hissini anlatırken, bunun “silahın ucunda oturmaya” benzediğini söyledi.
UDK, sosyal yardım dolandırıcılığını tespit etmek amacıyla kişisel verileri toplamanın ve birleştirmenin “yasal dayanağa” sahip olduğunu belirtti.
Yapısal marjinalleşmenin şiddetlenmesi
Rapor ayrıca, UDK ve ATP tarafından geliştirilen yardım dolandırıcılığı kontrol sisteminin, insanları ve toplulukları farklılıklara göre sınıflandıran, Danimarka’nın yasal ve sosyal sistemlerindeki doğası gereği ayrımcı yapılara dayandığını da ortaya koyuyor.
Rapora göre, Danimarka yasaları zaten “göçmenler ve mülteci statüsü verilen kişiler için düşmanca bir ortam” yaratıyor; yardım talebinde bulunmak isteyenler için ikamet gereklilikleri, Danimarka’da pek çok mültecinin bulunduğu Batılı olmayan ülkelerden insanları orantısız bir şekilde etkiliyor. Suriye, Afganistan ve Lübnan dahil.
Gerçekten Tek dolandırıcılık kontrol algoritması, emeklilik ve çocuk bakımı planlarında yardım dolandırıcılığı riskini değerlendirmek için bir kişinin ailesini veya ilişki durumunu tahmin eder. Algoritmanın kullandığı parametrelerden biri “alışılmadık” veya “alışılmadık” yaşam kalıplarını veya aile düzenlemelerini içeriyor, ancak bu tür durumların nelerden oluştuğuna dair netlik içermiyor ve tehlikeli derecede keyfi karar almaya yer bırakıyor.
Mukiri-Smith şunları ekledi: “Geleneksel olmayan yaşam düzenlerinde yaşayan insanlar – örneğin evli olan ancak engelleri nedeniyle ayrı yaşayan engelliler; ayrı yaşayan, ilişkileri olan yaşlı insanlar; veya göçmen topluluklarında yaygın bir düzenleme olan çok kuşaklı bir evde yaşayanların tümü, sosyal yardım dolandırıcılığı konusunda daha fazla araştırma yapılması için Gerçekten Tek algoritması tarafından hedef alınma riskiyle karşı karşıyadır.”
Dansk Handikap Vakfı’nın sosyal ve işgücü piyasası politikası komitesi başkanı Gitte Nielsen, sürekli incelenip yeniden değerlendirildiği hissini şöyle anlattı: “Bu sizi yiyip bitiriyor. Pek çok üyemiz bu sorgulama nedeniyle depresyona girdi.”
UDK ve ATP ayrıca algoritmik modellerinde “yurtdışı bağlantısı” ile ilgili girdileri de kullanıyor. Örneğin, Yurtdışı Model algoritması, AEA dışı ülkelerle “orta ve yüksek düzeyde bağları” olduğu kabul edilen yararlanıcı gruplarını belirliyor ve daha fazla araştırma için bu gruplara öncelik veriyor.
Uluslararası Af Örgütü’nün araştırması, bu gibi algoritmaların, ulusal köken ve göç durumu gibi faktörlere dayalı olarak insanlara karşı ayrımcılık yaptığını ortaya çıkardı.
UDK, Uluslararası Af Örgütü’ne yanıtında, algoritmalarında “vatandaşlık” parametresinin kullanılmasının hassas kişisel bilgilerin işlenmesi anlamına gelmediğini belirtti.