İsveç’in sosyal güvenlik kurumu tarafından sosyal yardım dolandırıcılığı soruşturmalarında insanları işaretlemek için kullanılan “ayrımcı” yapay zeka (AI) modeli, ülkenin Veri Koruma Otoritesi’nin (IMY) müdahalesinin ardından askıya alındı.
Haziran 2025’ten itibaren IMY’nin katılımı, Lighthouse Reports ve Svenska Dagbladet’in (SvB) Kasım 2024’te İsveç Sosyal Sigorta Kurumu Försäkringskassan tarafından kullanılan bir makine öğrenimi (ML) sisteminin sosyal yardım dolandırıcılığıyla ilgili daha fazla araştırma yapılması için belirli grupları orantısız ve yanlış bir şekilde işaretlediğini ortaya çıkarmasıyla ortaya çıktı.
Buna kadınlar, “yabancı” kökene sahip bireyler, düşük gelirli kişiler ve üniversite mezunu olmayan kişiler de dahildi. Medya kuruluşları aynı sistemin, bir tür sosyal güvenlik dolandırıcılığı yapan erkekleri ve zenginleri tespit etmede de büyük ölçüde etkisiz olduğunu ortaya çıkardı.
Bu bulgular, Uluslararası Af Örgütü’nün, o dönemde “insanlıktan çıkarıcı” ve “cadı avına benzer” olarak tanımladığı sistemin Kasım 2024’te derhal durdurulması yönünde kamuoyuna çağrıda bulunmasına yol açtı.
Försäkringskassa tarafından 2013 yılında kullanıma sunulan ML tabanlı sistem, sosyal güvenlik başvuru sahiplerine risk puanları veriyor ve bu puan, risk puanının yeterince yüksek olması durumunda otomatik olarak soruşturma başlatıyor.
IMY tarafından 18 Kasım 2025’te yayınlanan bir bloga göre, Försäkringskassa, sistemi özellikle – ebeveynlerin hasta çocuklarına bakmak zorunda olduklarında işten izin almaları nedeniyle telafi etmek için tasarlanan – geçici nafaka yardımlarından yararlananları hedef alan kontroller yapmak için kullanıyordu, ancak Yetkililerin soruşturması sırasında sistemi kullanımdan kaldırdı.
IMY avukatı Måns Lysén, “Denetim devam ederken İsveç Sosyal Sigorta Kurumu yapay zeka sistemini kullanım dışı bıraktı” dedi. “Sistem artık kullanılmadığı ve sistemle ilgili riskler sona erdiği için davayı kapatabileceğimizi değerlendirdik. Kişisel veriler giderek daha fazla yapay zeka ile işleniyor, bu nedenle bu kullanımın tanınması ve tartışılması memnuniyetle karşılanıyor. Hem yetkililerin hem de diğerlerinin, yapay zeka kullanımının AB’nin mevzuatına uygun olmasını sağlaması gerekiyor. [General Data Protection Regulation] GDPR ve şimdi de yavaş yavaş yürürlüğe giren yapay zeka düzenlemesi.”
IMY, Försäkringskassa’nın “şu anda mevcut risk profilini sürdürmeyi planlamadığını” ekledi.
1 Ağustos 2024’te yürürlüğe giren Avrupa Birliği Yapay Zeka Yasası uyarınca, yapay zeka sistemlerinin kamu yetkilileri tarafından temel kamu hizmetlerine ve faydalarına erişimi belirlemek için kullanılması, uygulayıcıların insan hakları risklerine ilişkin bir değerlendirme yapma ve bunları kullanmadan önce hafifletici önlemlerin mevcut olduğunu garanti etme yükümlülüğü de dahil olmak üzere katı teknik, şeffaflık ve yönetişim kurallarına uygun olmalıdır. Sosyal puanlama aracı olarak kabul edilen belirli sistemler yasaktır.
Computer Weekly, sistemin askıya alınması ve IMY’nin denetimi sonuçlanmadan sistemin neden durdurulması gerektiği konusunda Försäkringskassa ile temasa geçti.
Bir sözcü, “Yeni Avrupa AI düzenlemesine uyup uymadığını değerlendirmek için risk değerlendirme profilinin kullanımını durdurduk” dedi. “Şu anda bunu tekrar kullanıma sokma planımız yok, çünkü diğer verilerin yanı sıra işverenlerden devamsızlık verileri de alıyoruz ve bunların nispeten iyi bir doğruluk sağlaması bekleniyor.”
Försäkringskassa daha önce Kasım 2024’te Computer Weekly’ye “sistemin İsveç yasalarına tamamen uygun şekilde çalıştığını” ve hak sahibi başvuru sahiplerinin “başvurularının işaretlenip işaretlenmediğine bakılmaksızın bu hakları alacağını” söylemişti.
Lighthouse ve SvB’nin, kurumun sistemin iç işleyişi hakkında tam olarak şeffaf olmadığı yönündeki iddialarına yanıt olarak Försäkringskassa, “sistemin nasıl çalıştığına ilişkin ayrıntıların ortaya çıkarılmasının, bireylerin tespitten kaçmasına olanak sağlayabileceğini” ekledi.
Benzer sistemler
Diğer ülkeler tarafından faydaları dağıtmak veya dolandırıcılığı araştırmak için kullanılan benzer yapay zeka tabanlı sistemler de benzer sorunlarla karşılaştı.
Örneğin Kasım 2024’te Uluslararası Af Örgütü, Danimarka’nın sosyal yardım kuruluşu tarafından kullanılan yapay zeka araçlarının nasıl zararlı kitlesel gözetlemeler yarattığını, engelli insanlara, ırksal gruplara, göçmenlere ve mültecilere karşı ayrımcılık riskine yol açtığını ortaya çıkardı.
Birleşik Krallık’ta, Çalışma ve Emeklilik Bakanlığı (DWP) tarafından Kamu Hukuku Projesi’nin Bilgi Edinme Özgürlüğü (FoI) kuralları kapsamında yayınlanan bir dahili değerlendirme, binlerce Universal Credit yardım ödemesini incelemek için kullanılan bir ML sisteminin, olası dolandırıcılık konusunda kimin soruşturulacağını seçerken “istatistiksel olarak anlamlı” eşitsizlikler gösterdiğini ortaya çıkardı.
Şubat 2024’te gerçekleştirilen değerlendirme, insanların yaşı, engellilik durumu, medeni durumu ve uyruğu da dahil olmak üzere “analiz edilen tüm korunan özellikler için istatistiksel olarak anlamlı bir sevk … ve sonuç eşitsizliği” olduğunu gösterdi.
Sivil haklar grupları daha sonra Temmuz 2025’te DWP’yi, insanların Evrensel Kredi veya Kişisel Bağımsızlık Ödemesi gibi sosyal güvenlik planlarına uygunluğunu belirlemek için kullanılan yapay zekanın Birleşik Krallık’ın sosyal güvenlik sistemine nasıl yerleştirildiği konusunda “endişe verici şeffaflık eksikliği” nedeniyle eleştirdi.
Hem Uluslararası Af Örgütü hem de Big Brother Watch, yaklaşık aynı zamanlarda yayınlanan ayrı raporlarda, bu bağlamda yapay zeka kullanımıyla ilişkili açık önyargı risklerini ve teknolojinin Birleşik Krallık’ın yardım sistemindeki önceden var olan ayrımcı sonuçları nasıl daha da kötüleştirebileceğini vurguladı.