Sivil haklar grupları, Çalışma ve Emeklilik Bakanlığı’nın (DWP) İngiltere’nin Sosyal Güvenlik sistemine yapay zeka (AI) nasıl yerleştirildiği konusunda “endişe verici bir şeffaflık eksikliğini” vurguladı.
Uluslararası Af Örgütü ve Big Brother Watch’tan ayrı raporlara göre, her ikisi de Temmuz 2025’in başlarında yayınlanan, AI sistemlerinin Departman tarafından Opak kullanımı, insanların evrensel kredi (UC) veya kişisel bağımsızlık ödemesi (PIP) gibi sosyal güvenlik planlarına uygunluğunu belirlemek için fayda davacıları için “ciddi sonuçlar” yaşıyor.
Her iki kuruluş da bu bağlamda AI kullanımıyla ilişkili açık önyargı risklerini ve teknolojinin İngiltere’nin fayda sisteminde önceden var olan ayrımcı sonuçları nasıl daha da kötüleştirebileceğini vurguladı.
Ayrıca, bu tür sistemlerin fayda davacılarının verilerini ve gizlilik haklarını nasıl zayıflattığını ve bunlara tasarımla otomatik olarak şüpheli olarak ele aldıklarını detaylandırdılar.
Bununla birlikte, bu risklere rağmen, DWP’nin AI sistemlerinin nasıl işlediği konusunda bir “gizlilik duvarı” yarattığını ve insanları günlük yaşamlarını etkileyen önemli kararlar verdikleri konusunda karanlıkta bıraktığını söylüyorlar.
Gizlilik Kampanya Grubu, “Big Brother Watch tarafından elde edilen dahili DWP belgeleri, her yıl neredeyse bir milyon avans iddiasını riske atmak için kullanılan evrensel kredi gelişmeleri modelinin tutarlı, istatistiksel olarak önemli bir önyargı sergilediğini gösteriyor” dedi.
“Gelişmeler modelinin ve diğer bir pilot araçların adil analizleri, yaş, milliyet, ilişki durumu ve bildirilen hastalıklar için algoritmik eşitsizliklerin bulunduğunu göstermektedir – bu özellikler de etnik köken, medeni durum ve sakatlık için proxy olarak kullanılır.”
Bilgileri açıkça yayınlamayı reddetme
Big Brother Watch, DWP’nin “Şüphe Makinesi” nin işleyişinin, bilgileri açıkça yayınlamayı reddetmesi nedeniyle kamu incelemesinden korunduğunu da sözlerine ekledi.
Benzer noktalar, DWP’nin bilginin açıklanmasının bireylerin fayda sisteminden yararlanmasını sağlayabileceği temelinde opaklığını haklı çıkardığını da sözlerine ekledi. “Bu, bu sistemlerin nasıl sıklıkla ayrımcı olduğunu ve cezalandırıcı bir yaklaşımın benimsenmesini gösterdiğini temelden yanlış anlıyor” dedi.
“Bu sistemler genellikle profiller veya risk puanları oluşturmak için kimlik özelliklerine güvenir, bu da ‘ırk’ veya ‘sakatlık’ sabittir ve bu nedenle sistemi hile yapmak için bir birey tarafından değiştirilemez. Bu, sahtekarlık vakalarını tespit ederken meşru olan uygulamaların çoğunluğuna hizmet etmek yerine sahtekarlık tespiti için optimize edilmiş bir sistemle sonuçlanır.
Bu nedenle her iki kuruluş da İngiltere hükümetinden bu yüksek riskli veri araçlarını nasıl kullandığı konusunda daha fazla şeffaflık çağrısında bulunuyor, böylece DWP sistemlerinin olumsuz etkilerini hesaba katabilir ve insanlar onlar hakkında yanlış kararlara meydan okuyabilir.
Big Brother Watch’taki araştırma ve araştırmalar başkanı Jake Hurfurt, “DWP’nin kendi değerlendirmelerinin önyargıyla dolu olduğunu tespit ettiği yüksek teknolojili algoritmik araçların devam etmesi endişe verici” dedi. “Bu, DWP’nin bir gizlilik duvarının arkasına saklandığında ve etkilenen bireylerin ve halkın otomasyonun yaşamlarını etkilemek için nasıl kullanıldığını ve önyargı ve gizlilik risklerini anlamasına izin verecek temel bilgileri ifşa etmeyi reddettiğinde daha da ilgili hale gelir.
“DWP, bir adım geri adım atmalı ve açıklanamayan eşitsizlikler içeren herhangi bir modelin kullanımını duraklatmalı ve yüksek teknoloji araçlarını nasıl kullandığı konusunda daha şeffaf olmalı. Milyonlarca masum insanı gölgelendiren otomatik veya algoritmik kararlara konu yapmak ve bu çalışmanın nasıl açıklanmasını reddetmesi yanlıştır.”
Af, raporunda, DWP’nin AI sistemlerinin “gerçek dünya etkileri” nin insanların onlarla etkileşime girme deneyimlerinden ve sivil toplum grupları tarafından ortaya çıkarılan şeylerin açık olduğunu, ancak tüm etkilerin daha fazla şeffaflık olmadan bilinemeyeceğini söyledi. “Teknoloji kullanımı konusunda şeffaflık olmadan, bu sistemlerin verimli veya yasal olarak çalışıp çalışmadığına ve ayrımcılığın meydana gelip gelmediğine dair anlamlı bir değerlendirme olamaz” dedi.
Big Brother Watch benzer şekilde, veri koruma etkisi değerlendirmeleri gibi belgelerin, işledikleri kişisel veri türleri ve bunların modeller tarafından nasıl kullanıldığı ve orantılılık ve gereklilik etrafında nasıl kullanıldıklarının – ya da yayınlandıkları takdirde nasıl açıklanmadığını veya başka türlü düzeltildiklerini de vurguladı.
“DWP, refah sahtekarlığı tehdidini gizli çalıştırmak için hapishanesiz bir kart olarak kullanıyor, ancak büyük ölçekte insan ışığı profiline izin veren makine öğrenme araçlarıyla, daha az değil-daha az değil” dedi.
Uluslararası Af Örgütü’nde teknoloji, ekonomik, sosyal ve kültürel haklar üzerine araştırmacı olan Imogen-Richmond Bishop, DWP’nin maliyeti azaltma misyonunun bu sorunlu teknolojilere aşırı güvenmenin merkezinde olduğunu da sözlerine ekledi. “İnsanlar Sosyal Güvenlik’teki kesintiler nedeniyle amaçların buluşması ve masaya yiyecek koyması için mücadele ediyorlar ve yine de DWP, davacıları gözetlemek için deneysel teknolojiler konusunda daha fazla endişe duyuyor” dedi.
“Refah faydalarını talep etmek ve yönetmek için teknoloji özellikli sistem, temel ihtiyaçlarına kırık bir sistemde erişmek için zaten güreşen insanlar için acımasız insanlıktan çıkarma ve zorlama ile sonuçlanıyor.”
Af, raporunda DWP’nin belirtilen “maliyet tasarrufu” hedefine rağmen, bu profesyonel tasarrufların gerçekte gerçekleşip gerçekleşmeyeceğinden şüphe duyduğunu vurguladı.
“İngiltere’nin Ulusal Denetim Ofisi, bu tasarrufların gerçekleşeceğine dair şüpheleri dile getirdi” dedi. “2024 itibariyle DWP, 2010 yılından bu yana UC’yi uygulamanın 2,9 milyar £ maliyeti olduğunu tahmin ediyor. Bu büyüyen maliyetler ve sürekli gecikmiş tamamlanma tarihleri, dijitalleştirme sürecinin tanıtımını haklı çıkarmak için kullanılan verimlilik ve maliyet tasarruflarını tanıtmasının bile mümkün olup olmadığını sorguluyor.”
DWP Yorumu
Computer Weekly, Sosyal Güvenlik Sistemi boyunca AI kullanımı hakkında hem raporlar hem de iddialar hakkında DWP ile temasa geçti.
Bir sözcü, “Hizmetlerimize erişmesi ve kullanması gereken herkes için deneyimi geliştirmek istiyoruz ve teknoloji bu konuda önemli bir rol oynuyor” dedi.
“Veri ve teknolojinin yasal, orantılı ve etik kullanımını garanti etmek için uygun önlemlerin mevcut olmasını sağlıyoruz. Fayda hakkı veya ödeme ile ilgili tüm kararlar mevcut tüm kanıtlara bakan DWP personeli tarafından verilmektedir.”