Veri tabanlı profil oluşturma araçları, İngiltere Adalet Bakanlığı (MOJ) tarafından algoritmik olarak insanların cezai suçlar yapma riskini “tahmin etmek” için kullanılmaktadır, ancak baskı grubu Statewatch, tarihsel olarak önyargılı verilerin kullanımının yapısal ayrımcılığı daha da güçlendireceğini söylüyor.
Bir Bilgi Özgürlüğü (FOI) kampanyası aracılığıyla Statwatch tarafından elde edilen belgeler, MOJ’nin halkın yeniden yapma riskini “tahmin etmek” için zaten bir kusurlu algoritma kullandığını ve cinayet işleyecekleri “tahmin etmek” için aktif olarak başka bir sistem geliştirdiğini ortaya koyuyor.
Öngörücü polislik araçlarını konuşlandıran yetkililer, kaynakları daha verimli bir şekilde yönlendirmek için kullanılabileceklerini söylerken, eleştirmenler, pratikte, bu grupların tarihsel olarak “aşırı polislik” olduğu ve bu nedenle polis veri kümelerinde aşırı temsil edildikleri için yoksul ve ırksal toplulukları tekrar tekrar hedeflemek için kullanıldıklarını savunuyorlar.
Bu daha sonra olumsuz bir geri bildirim döngüsü oluşturur, burada bu “sözde tahminler” belirli grupların ve alanların daha fazla polisliğine yol açar, böylece artan miktarda veri toplandıkça önceden var olan ayrımcılığı güçlendirir ve daha da kötüleştirir.
2018 kitaplarında öngörücü polislik sistemlerinin tarihsel çoğalmasının izlenmesi Polis: Bir Saha RehberiYazarlar David Correia ve Tyler Wall, bu tür araçların kolluk kuvvetleri için ayrımcı polislik uygulamalarına katılmaya devam etmeleri için “görünüşte objektif veri” sağladığını, ancak ırksal profillemeden uzak görünen bir şekilde ”olduğunu savunuyorlar.
Bu nedenle, “öngörücü polisliğin geleceğin şiddetini şimdiki zamanın yoksullarında bulması sürpriz olmamalı” diye eklediler.
Bilgisayar Haftalık, yapısal ayrımcılığı daha da güçlendirmek için öngörücü polis sistemlerinin eğilimi ile nasıl başa çıktığı konusunda MOJ ile temasa geçti, ancak bu noktada hiçbir yanıt almadı.
Sistemlerim
Suçlu Değerlendirme Sistemi (OASYS) olarak bilinen İlk Suç Tahmin Aracı, 2001 ve 2005 yılları arasında İngiltere ve Galler hapishanesi ve denetimli serbestlik sistemi boyunca piyasaya sürülmeden önce üç pilot çalışma üzerinden ev ofisi tarafından geliştirilmiştir.
Majestelerinin Hapishanesi ve Denetimli Serbestlik Servisi’ne (HMPPS) göre Oasys, “zararla ilgili ihtiyaçları tanımlar ve sınıflandırır” ve “zarar gören zarar riskini kendilerine ve başkalarına veriyor”, böylece makine öğrenme tekniklerini kullanarak sistem, veri girdilerinden işlevselliği uyarlamak için “öğrenir”.
Yapısal ırkçılık ve diğer sistemik önyargı biçimleri, hem doğrudan hem de dolaylı olarak OASYS risk puanlarına kodlanabilir
Sobanan Narenthiran, Atılım Sosyal Girişim
Algoritmalar tarafından üretilen risk skorları daha sonra insanların yaşamlarını ciddi şekilde etkileyebilecek çok çeşitli kararlar almak için kullanılır. Bu, kefaletleri ve cezaları, gönderilecekleri hapishane türü ve hapsedilirken eğitim veya rehabilitasyon programlarına erişip erişemeyecekleri ile ilgili kararları içerir.
StateWatch tarafından elde edilen belgeler, Oasys aracının her hafta İngiltere ve Galler’deki binlerce mahkumu profillemek için kullanıldığını gösteriyor. Örneğin, sadece bir hafta içinde, 6 ve 12 Ocak 2025 arasında, araç toplam 9.420 yeniden risk değerlendirmesini tamamlamak için kullanıldı – bu da günde 1.300’den fazla.
Bu yılın Ocak ayından itibaren, sistemin veritabanı, tamamlanmış değerlendirmeleri ve devam edenleri içeren insanların yeniden oluşturulma riskini belirleyen yedi milyondan fazla risk skoruna sahiptir.
Oasys hakkında yorum yapan Sobanan Narenthiran-eski bir mahkum ve şimdi çığır açan sosyal girişimin ortak CEO’su olan “Risk altındaki insanları teknoloji dünyasına girmek için ceza adalet sisteminin deneyimiyle destekleyen bir kuruluş”-“yapısal ırkçılık ve sistemik önyargı biçimlerinin oasys risk skorlarına doğrudan ve delili olarak kodlanabileceğini söyledi.
Ayrıca, Oasys’e girilen bilgilerin “önyargılı polislik ve bazı toplulukların aşırı derecede etkisi gibi sistemik konulardan büyük ölçüde etkilenmesi muhtemel”, örneğin, “Siyah ve diğer ırksal bireylerin, oryantaldaki yapısal eşitsizlikler nedeniyle daha sık durdurulabileceğini, araştırılabileceğini, tutuklanabileceğini ve şarj edilebileceğini belirtti.
“Sonuç olarak, daha büyük bir gerçek risk nedeniyle değil, sistemde ‘daha yüksek risk’ görünebilirler, ancak veriler bu eşitsizlikleri yansıttığı için. Bu klasik bir ‘çöp, çöp dışarı’ vakasıdır.”
Bilgisayar Haftalık, her gün yaptığı algoritmik değerlendirmeler hacmi göz önüne alındığında, bölümün karar vermesinde nasıl doğruluğu sağladığı konusunda MOJ ile temasa geçti, ancak bu noktada doğrudan yanıt almadı.
Bir sözcü, uygulayıcıların bilgileri doğruladığını ve tutarlılık için ayrıntılı puanlama rehberliğini takip ettiklerini söyledi.
İkinci Suç Tahmin aracı şu anda geliştirilmekte olsa da, niyet, denetimli serbestlik hizmeti ve projeye dahil olan belirli polis kuvvetleri gibi farklı kaynaklardan kendileri hakkında çok çeşitli veriler çekerek cinayet işleme riski olanları algoritik olarak tanımlamaktır.
StateWatch, işlenen bilgi türlerinin isimleri, doğum tarihlerini, cinsiyet ve etnik kökenleri ve Polis Ulusal Bilgisayarındaki (PNC) insanları tanımlayan bir sayı içerebileceğini söylüyor.
Başlangıçta “Cinayet Tahmin Projesi” olarak adlandırılan girişim, o zamandan beri “risk değerlendirmesini iyileştirmek için verilerin paylaşılması” olarak yeniden adlandırıldı ve hüküm giymiş ve istekli olmayan kişileri profillemek için kullanılabilir.
MOJ ve Greater Manchester Police (GMP) arasındaki bir veri paylaşım anlaşmasına göre, örneğin, paylaşılan veri türleri, bir kişinin polisle ilk temas ettiği yaşı ve yaşları, aile içi şiddet de dahil olmak üzere bir suçun kurbanı olarak içerebilir.
“Özel kişisel veri kategorileri” altında listelenen anlaşma, “önemli öngörücü güce sahip olması beklenen sağlık belirteçlerinin” paylaşılmasını da öngörmektedir.
Bu, zihinsel sağlık, bağımlılık, intihar, güvenlik açığı, kendine zarar verme ve sakatlık ile ilgili verileri içerebilir. Statewatch, herhangi bir ceza suçundan hüküm giymeyen kişilerden verilerin projenin bir parçası olarak nasıl kullanılacağını vurguladı.
Her iki durumda da StateWatch, polis güçleri ve MOJ gibi “kurumsal olarak ırkçı” kuruluşların verilerinin yalnızca İngiltere’nin ceza adalet sistemini destekleyen yapısal ayrımcılığı “güçlendirmek ve büyütmek” için çalışacağını söylüyor.
Araştırmalar, suçu ‘tahmin etmek’ için algoritmik sistemlerin doğal olarak kusurlu olduğunu gösteriyor
Sofia Lyall, eyalet saati
“Adalet Bakanlığı’nın bu cinayet tahmin sistemini inşa etme girişimi, hükümetin ‘tahmin’ sistemleri geliştirme niyetinin en son ürpertici ve distopik örneğidir” dedi.
“Türünün diğer sistemleri gibi, ırksal ve düşük gelirli topluluklara yönelik önyargıda kodlanacak. İnsanları şiddetli suçlular olarak profillemek için otomatik bir araç oluşturmak çok yanlış ve akıl sağlığı, bağımlılık ve engellilik hakkında bu tür hassas verileri kullanmak son derece müdahaleci ve endişe verici.”
Lyall ekledi: “Araştırmalar tekrar tekrar, suçu tahmin etmek için algoritmik sistemlerin doğal olarak kusurlu olduğunu gösteriyor.”
Statewatch ayrıca, özellikle siyah insanların MOJ tarafından tutulan verilerde önemli ölçüde aşırı temsil edildiğini ve daha yoksun alanlardan gelen tüm etnik kökenlerden insanlar olduğunu belirtti.
Zorlu yanlışlıklar
OASYS tarafından 2015’ten itibaren üretilen risk puanlarının resmi bir değerlendirmesine göre, sistem cinsiyet, yaş ve etnik kökene dayalı doğrulukta tutarsızlıklara sahiptir ve üretilen risk puanları, ırksal insanlar için orantısız olarak daha az doğrudur ve özellikle siyah ve karışık ırk insanlar içindir.
“Göreli öngörücü geçerlilik, kadın için erkek suçlulardan, beyaz suçlular için Asya, siyah ve karışık etnik kökenli suçlulardan ve daha yaşlı suçlulardan daha büyüktü” dedi. “Risk profillerindeki farklılıkları kontrol ettikten sonra, tüm siyah, Asya ve azınlık etnik (BME) grupları (şiddet içermeyen yeniden oluşturma) ve siyah ve karışık etnik kökenli suçlular (şiddet içeren yeniden yapılanma) için daha düşük geçerlilik en büyük endişe idi.”
Oasys algoritmasından etkilenen bazı mahkumlar da Stationwatch’a önyargılı veya yanlış verilerin etkileri hakkında bilgi vermiştir. Örneğin, birkaç az sayıda etnik mahkum, değerlendiricilerinin Oasys raporlarında kanıtsız bir ayrımcı ve sahte “çeteler” etiketine girdiğini, söyledikleri bir kararın ırkçı varsayımlara dayandığını söyledi.
Birmingham Üniversitesi’nden bir araştırmacı ile Oasys’teki yanlış verilerin etkisi hakkında konuşan, ömür boyu hapis cezası veren başka bir adam onu “yokuş aşağı koşan küçük bir kartopu” na benzetti.
Mahkum şunları söyledi: “Sonunda orijinal küçük kar topuna benzemeyen bu büyük kartopu ile kalana kadar her tur gittikçe daha fazla kar alır (yanlış girişler). Başka bir deyişle artık yok. Hayal güçlerinin bir yapısı haline geldim. Nihai nihai eylemdir.”
Narenthiran ayrıca, sistemin doğruluğu ile ilgili bilinen sorunlara rağmen, Oasys raporlarında yer alan yanlış verilere meydan okumanın zor olduğunu açıkladı: “Bunu yapmak için, bir Oasys değerlendirmesinde kaydedilen bilgileri değiştirmem gerekiyordu ve bu sinir bozucu ve genellikle opak bir süreç.
“Çoğu durumda, bireyler ya kendileri hakkında yazıldığından habersizdir ya da değerlendirmeyi kesinleşmeden önce gözden geçirme ve yanıtlama için anlamlı fırsatlar verilmez. Endişeler gündeme geldiğinde bile, güçlü yasal savunuculuk olmadıkça sık sık reddedilir veya göz ardı edilirler.”
Yanıtlarım
Cinayet Tahmin Aracı hala geliştirildiğinde, Computer Weekly her iki sistem hakkında daha fazla bilgi için MOJ ile temasa geçti – departmanın hangi düzeltme araçları da dahil olmak üzere, örneğin bilgi yanlış olduğunda, insanların kendileri hakkında alınan kararlara meydan okumak için kullanabileceğini öngörüyor.
Bölüm sözcüsü, sürekli iyileştirme, araştırma ve doğrulamanın bu araçların bütünlüğünü ve kalitesini sağladığını ve yeni araçlar veya araştırma projeleri geliştirildiğinde adalet ve potansiyel veri yanlılığı gibi etik sonuçların dikkate alındığını söyledi.
Ne cinayet tahmini aracının ne de Oasys’in etnik kökene doğrudan bir öngörücü olarak kullanmadığını ve eğer bireylerin HMPS’lere resmi bir şikayetin sonucundan memnun kalmadıklarını, hapishane ve denetimli serbestlik ombudsmanına yazabileceklerini de sözlerine ekledi.
OASYS ile ilgili olarak, yeniden sağlama riski etkili bir şekilde tahmin etmek için yeniden değerlenen sistemi oluşturan beş risk öngörücü aracı olduğunu eklediler.
Cinayet Tahmin Aracı hakkında yorum yapan MOJ, “Bu proje sadece araştırma amacıyla yürütülmektedir. HM hapishanesi ve denetimli serbestlik hizmeti ve mahkum suçlular üzerindeki polis güçleri tarafından ciddi şiddet yürütme riskini daha iyi anlamamıza yardımcı olmak için mevcut veriler kullanılarak tasarlanmıştır.
Projenin, ciddi suçların risk değerlendirmesini iyileştirmeyi ve mevcut suç ve risk değerlendirme verilerinin daha iyi analizini yaparak halkı güvende tutmayı ve operasyonel kullanım için belirli bir öngörücü aracı geliştirilmemesine rağmen, projenin bulgularının gelecekteki çalışmaları diğer araçlar üzerinde bilgilendirebileceğini ekledi.
MOJ ayrıca, şimdiye kadar en az bir suç mahkumiyetine sahip kişiler hakkında verilerin kullanıldığı konusunda ısrar etti.
Yeni Dijital Araçlar
Sistemle ilgili ciddi endişelere rağmen, MOJ hapishane ve denetimli serbestlik hizmetlerinde OASYS değerlendirmelerini kullanmaya devam ediyor. StateWatch’ın FOI kampanyasına yanıt olarak MOJ, “HMPP’lerin riskleri, ihtiyaçları ve güçlü yönlerini değerlendirdiğini (ARNS) OASYS aracını değiştirmek için yeni bir dijital araç geliştirdiğini” doğruladı.
Yeni sistemin erken bir prototipi, Aralık 2024’ten bu yana “2026’da ulusal bir sunum açısından” pilot aşamada. Arns, “bir ekip tarafından şirket içinde inşa ediliyor [Ministry of] Şu anda OASYS için teknik destek sağlayan Capita ile irtibat kuran Justice Digital ”.
Hükümet ayrıca, “öngörücü” ve profilleme risk değerlendirme araçlarının kullanımı ve elektronik etiketleme de dahil olmak üzere “yeni teknolojinin hapishane dışındaki suçluları yönetmek için yeni teknolojinin kullanılmasına” bakan “bağımsız bir ceza incelemesi” başlattı.
Statewatch ayrıca Suç Tahmin aracının geliştirilmesine durmayı çağırdı.
Lyll, “Hükümet, tehlikeli ve ırkçı yapay zeka ve algoritmalar geliştirmek için para atmak yerine, gerçekten destekleyici refah hizmetlerine yatırım yapmalı. Tekno çözücü ‘hızlı düzeltmelere’ yatırım yaparken refah kesintileri yapmak, sadece insanların güvenliğini ve refahını daha da zayıflatacaktır” dedi.