Çalışma ve Emeklilik Bakanlığı (DWP) tarafından sosyal yardım dolandırıcılığını tespit etmek için kullanılan bir yapay zeka (AI) sistemi, bakanlığın kendi iç değerlendirmesine göre insanların yaşı, engelliliği, medeni durumu ve uyruğuyla ilgili “istatistiksel olarak anlamlı” eşitsizlikler gösteriyor.
Kamu Hukuku Projesi’nin bilgi edinme özgürlüğü (FoI) kuralları kapsamında yayınlanan 11 sayfalık “adalet analizi”, DWP tarafından binlerce evrensel kredi yardımı ödemesini incelemek için kullanılan bir makine öğrenimi (ML) sisteminin bazı gruplardan kişileri seçtiğini ortaya çıkardı. Olası dolandırıcılık konusunda kimin soruşturulacağını tavsiye ederken diğerlerinden daha fazla.
Şubat 2024’te gerçekleştirilen değerlendirme, insanların yaşı, engellilik durumu, medeni durumu ve uyruğu da dahil olmak üzere “analiz edilen tüm korunan özellikler için istatistiksel olarak anlamlı bir yönlendirme… ve sonuç eşitsizliği” olduğunu gösterdi.
Mevcut eşitsizlikler üzerinde daha sonra yapılan bir incelemede, “tanımlanan eşitsizliklerin bireylere veya korunan gruplara yönelik ayrımcılık veya adil olmayan muameleye ilişkin herhangi bir acil endişeye yol açmadığı” tespit edildiği ve meşru menfaat talebinde bulunanlar üzerinde potansiyel olarak zararlı etkileri en aza indirecek önlemlerin mevcut olduğu ifade edildi. .
“Bu, otomatik karar almayı içermez” dedi ve “bunun her zaman bir insan olduğunu” belirtti. [who] mevcut tüm bilgileri dikkate alarak karar verir”.
Irk, cinsiyet, cinsel yönelim, dini inançlar vb. gibi korunan özellikler adalet analizinin bir parçası olarak analiz edilmemiş olsa da, koruma önlemleri tüm müşteriler için geçerli olduğundan DWP’nin “adil olmayan muameleye ilişkin acil bir kaygısı” bulunmadığını da ekledi. Analiz yöntemini “yinelemeyi ve iyileştirmeyi” planlıyor ve daha sonraki değerlendirmeler üç ayda bir tamamlanacak.
“Bu, modeli canlı hizmette çalıştırmaya devam etmenin makul ve orantılı olup olmadığına ilişkin bir öneri ve kararı içerecektir” dedi.
Kamu Hukuku Projesi’nde kıdemli araştırma görevlisi Caroline Selman şunları söyledi: Gardiyan: “Davaların büyük çoğunluğunda DWP’nin, otomatik süreçlerinin haksız bir şekilde marjinalleştirilmiş grupları hedef alma riski taşıyıp taşımadığını değerlendirmediği açıktır. DWP, bu ‘önce zarar ver, sonra düzelt’ yaklaşımına son vermeli ve temsil ettikleri zarar riskini tam olarak anlayamadığında araçları kullanıma sunmayı bırakmalıdır.”
Düzenleme nedeniyle, yayınlanan analizde, yapay zeka sistemi tarafından sahtekarlık kontrolü için hangi yaş gruplarının yanlış bir şekilde hedef alınma olasılığının daha yüksek olduğu veya algoritmanın uyruklara nasıl davrandığı arasındaki farklar şu anda net değil.
Ayrıca, algoritma tarafından engelli kişilerin, engelli olmayan kişilere göre hatalı bir şekilde seçilip seçilme olasılığının daha fazla veya daha az olup olmadığı da belirsizdir. Yetkililer bunun insanların sistemle oynamasını engellemek için olduğunu söylese de, analizin kendisi yaş (özellikle 25 yaş ve üstü kişiler için) veya engellilik ile ilgili herhangi bir yönlendirme eşitsizliğinin özellikle öngörüldüğünü çünkü bu korunan özelliklere sahip kişilerin halihazırda daha yüksek oranda engellilikle bağlantılı olduğunu belirtti. evrensel kredi ödemeleri.
şu soruya yanıt veriyor: Gardiyan Rapora göre bir DWP sözcüsü şunları söyledi: “Yapay zeka aracımız insanın yargısının yerini almaz ve vaka çalışanı bir karar vermek için her zaman mevcut tüm bilgilere bakacaktır. Yardım dolandırıcılığıyla mücadele etmek için cesur ve kararlı adımlar atıyoruz; dolandırıcılık ve hata kanunumuz, sosyal haklar sisteminden yararlanan suçluların daha hızlı tespit edilmesi için daha verimli ve etkili soruşturmalara olanak sağlayacak.”
Değerlendirmede, DWP’nin herhangi bir potansiyel önyargıyı azaltmak için uygulamaya koyduğu önlemlerin ana hatları çizilirken (modelin, yüksek risk olarak tanımladığı talep sahibinin isteklerini her zaman bir DWP çalışanına göndermesi ve daha sonra bu kişinin bu talebi onaylayıp onaylamamaya karar vermesi de dahil) değerlendirmede, kullanıcıların bilgisayar sistemleri tarafından oluşturulan bilgilere güvenme ve kabul etme olasılıklarının daha yüksek olduğu “otomasyon önyargısının” rolü veya yaygınlığı hakkında hiçbir şey belirtilmedi.
Computer Weekly, yapay zeka sisteminin işleyişindeki otomasyon yanlılığı etrafındaki dinamikleri değerlendirip değerlendirmediği ve eğer öyleyse bunun yönlendirme ve sonuç eşitsizliklerini nasıl etkilediği konusunda DWP ile temasa geçti, ancak yayınlandığı tarihe kadar herhangi bir yanıt alamadı.
Yapay zeka ve otomasyonun refah sistemlerindeki rolü son aylarda giderek daha fazla inceleniyor. Örneğin, Kasım 2024’te Uluslararası Af Örgütü tarafından yapılan bir analiz, Danimarka’nın otomatik refah sisteminin, engelli kişiler, düşük gelirli bireyler ve göçmenler de dahil olmak üzere bazı dışlanmış grupların sosyal yardımlara erişiminde bir engel oluşturduğunu ortaya çıkardı.
Aynı ay, bir soruşturma Deniz Feneri Raporları Ve İsveç Günlük İsveç’in algoritmik olarak desteklenen sosyal yardım sisteminin sosyal yardım dolandırıcılığı soruşturmaları için orantısız bir şekilde dışlanmış grupları hedef aldığını ortaya çıkardı.