NSW hükümetinin yaptığı bir araştırma, 275'ten fazla otomatik karar verme aracının (ADM) varlığını ortaya çıkararak, araçların nasıl yönetildiğine ve kullanımlarının nasıl açıklandığına ilişkin soruları gündeme getirdi.
NSW Ombudsmanı Paul Miller Cuma günü geç saatlerde yaptığı açıklamada, “Hakları ve çıkarları ADM kullanımıyla alınan bir karardan maddi olarak etkilenen halkın üyeleri, ADM'nin bu kararda oynadığı rol konusunda bilgilendirilme hakkına sahiptir” dedi. .
Liste [pdf] Araçların kapsamı, henüz pilot aşamasında olan ev dışı bakımdaki çocuklara yönelik riskleri tahmin eden bir yapay zeka modeli gibi, üç yıl içinde hayata geçme tarihi olan operasyonel sistemleri ve planlanan projeleri kapsamaktadır.
İki yüz elli yedi (257) ADM ihtiyatlı bir tahmindir; Bu verileri toplamak için kullanılan anket gönüllülük esasına dayalıydı ve konseyler, bakanlıklar ve kurumlar da dahil olmak üzere NSW'deki 439 kamu sektörü kuruluşunun yalnızca dörtte biri katıldı.
Ayrıca, anketi tamamlayan satın alma kayıtları, hükümet web siteleri ve diğer kamuya açık bilgiler üzerinde yapılan kamu incelemesi, ilave 702 potansiyel ADM ortaya çıkardı.
Rapora eşlik eden açıklamasında Miller, ADM'lerin veya kamu sicilinin zorunlu olarak raporlanmamasının “şu anda ve gelecekte ADM kullanımı için hangi güvence ve düzenleyici çerçevelerin uygun olabileceğine ilişkin bilinçli tartışmayı” bastırdığını söyledi.
Miller raporda, zorunlu raporun olmayışının, sistemlerin “yasal olarak doğrulanıp doğrulanmadığını veya test edilip edilmediğini ve doğruluk ve önyargı gibi konularda sürekli izlemeye tabi olup olmadığını ve nasıl tabi tutulduğunu” bilmeyi de imkansız hale getirdiğini söyledi. [pdf].
Miller, “Bizim için özellikle endişe verici olan, araştırma ekibine bildirilen ADM sistemlerinin yarısından azının tasarım aşamasında herhangi bir yasal girdiye sahip olduğunun bildirilmesiydi” diye ekledi.
ADM kullanımının dökümü
ADM'ler, karar ağaçlarından mahkumların sınıflandırılması gibi gelişmiş makine öğrenimi uygulamalarına kadar kullandıkları teknolojilere göre bölünmüştür. [pdf] ve sırasıyla hastanelere giren izleme listelerindeki kişilerin tespit edilmesi.
Rapor [pdf]Ombudsman'ın görevlendirdiği rapor, bakanlıkların ve kurumların ADM'lerinin “önümüzdeki üç yıl içinde yüzde 50 oranında artacağını” tahmin ediyor.
“Yapılandırılmış karar verme araçları, risk değerlendirmesi ve coğrafi konum araçları gelecekte öncelik olmaya devam ederken, gelecekte NLP (örneğin chatbot), otomatik veri toplama, öneri ve optimizasyon araçlarına artan bir vurgu var gibi görünüyor ,” O buldu.
77 departman ve kurum katılımcısının bildirdiği ADM'lerin en yaygın amacı “Uyum” idi; Bunu, sürücüleri telefonlarından yakalamaya yönelik Transport for NSW'nin görüntü tanıma çözümü gibi “yaptırım” ADM'leri takip ediyor.
Liste, karar “veren” “tamamen otomatik” sistemler ile bir karar tavsiyesinde bulunmak veya hala insan onayı gerektiren kararlar tavsiye etmek için öngörüleri veya tahminleri ortaya çıkaran “kısmen otomatik” sistemler arasında ayrım yapıyordu.
Ombudsman'ın raporu, döngüde bir insan olsa bile, örneğin hangi topluluklara daha az veya daha fazla kaynak tahsis edileceğini tavsiye eden ADM'lerin hâlâ insanların haklarını etkilediğini söyledi.
“Kurumlar bazen hatalı bir şekilde, karar alma sürecinin bazı noktalarında bir insanın mevcut olması durumunda sistemin bir ADM sistemi olmadığını ve ADM kullanımıyla ilgili konuların konuyla alakası olmadığını varsayar.”
Hukuki danışmanlık ihtiyacı
İlk anketin ardından, ADM'lerin dağıtımı öncesinde, sırasında veya sonrasında hukuki danışmanlık, mahremiyet etki değerlendirmeleri ve diğer önlemlerin kullanılıp kullanılmadığına ilişkin daha küçük bir örneklemle (26 kurum) ikinci bir anket geldi.
Katılımcılardan 11'i ADM'yi devreye almadan önce dahili olarak, ikisi ise harici olarak hukuki tavsiye aldı; yalnızca dokuzu “sistem tasarım ekibine hukuk uzmanlarının dahil edildiğini” doğruladı ve ikisi “emin değildi.”
ADM'lerin yetkilerinin temeli ile ilgili olarak, katılımcılardan 10'u “mevzuat, yönetmelikler veya diğer yasal izinlerden”, 12'si “organizasyonel politika ve prosedürlerden”, ikisi “bakanlık direktifi veya yönergelerinden” bahsetti ve biri “açık bir yetkilendirmenin” bulunmadığını söyledi. direktif.”
Ombudsman'ın raporunda şu ifadelere yer verildi: “birkaç vakada kurumlar, siber testler, dahili hukuki danışmanlık, mahremiyet etkisi ve risk değerlendirmesini de içeren ADM sistemlerinin değerlendirmesini bildirdi.
“Ancak, dış denetim veya dış yasal inceleme veya tavsiye gibi herhangi bir dış veya bağımsız değerlendirmeye dair çok az kanıt vardı.”
Raporun yayınlanması için arka plan
Rapor, NSW Parlamentosunun Yapay Zeka Soruşturması'nın ilk duruşmasında açıklandı; Ombudsman'ın incelemesi yalnızca federal düzeydeki Robodebt'in değil, aynı zamanda eyalet hükümetinin kendi tartışmalı ADM örnek olay incelemelerinin de arka planına karşı geliyor.
Revenue NSW, 2016 ile 2019 yılları arasında borçların tahsili için yasa dışı ve çoğu zaman hatalı haciz emirleri veren bir ADM kullandı.
Buna ek olarak, geçen yıl NSW Polisi, ADM'nin First Nations halkını aşırı temsil ettiği yönündeki şüpheli tahminini durdurdu.