Robodebt skandalıyla ilgili nihai rapor, devlet kurumları tarafından otomatik karar alma sürecini izlemek için bir organın kurulmasını tavsiye etti.
Rapor [pdf] ayrıca hükümetin, Services Australian ile vergi dairesi arasında işleyen “uçtan uca veri alışverişi” süreçlerinin yasallığı konusunda tavsiye alması gerektiğini söyledi.
Toplamda, Kraliyet Komisyonu, otomatik bir sistem tarafından refah alıcılarına karşı yanlış borçların gündeme getirildiği robodebt skandalının ardından 57 tavsiyede bulundu.
Önerilerden biri, karar alma süreçlerinin otomatikleştirilmesi için daha iyi yasal ve etik yönetişim çağrısında bulunuyor.
“Teknik yönleri ve adalet, önyargıdan kaçınma ve müşteri kullanılabilirliği açısından etkileri açısından otomatik karar verme süreçlerini izleme ve denetleme gücüne sahip” yeni veya genişletilmiş bir yönetim organı arıyor.
Ayrıca, federal hükümete “hükümet hizmetlerinde otomasyonun işleyebileceği tutarlı bir yasal çerçeve getirmek için yasal reformu dikkate alması” çağrısında bulundu.
“Kararlardan etkilenenler için, otomatik karar vermenin sonuçlarını gözden geçirmek ve anlamak için açık bir yol” olmalı ve “sürecin nasıl çalıştığını sade bir dille açıklamalı ve bağımsız uzman incelemesine olanak sağlamak için iş kuralları ve algoritmalar sunulmalıdır”. , dedi rapor.
Komisyon, “Güvenilir bir otomatik sistem, iyi yönetişim ve risk yönetimi ile birlikte etik, yasal ve teknik olarak sağlam otomasyon içeren bir sistemdir” dedi.
“Güvenilirliğe ulaşmak için, sistemin merkezinde insan aracısı olacak şekilde tasarlanmalıdır.”
Rapor, Robodebt için kullanılan otomasyonun “alınan veriler temelinde belirli ve tanımlanmış eylemin dışına çıkma yeteneği olmayan bir iş kuralları sistemi içerdiğini” söyledi.
“Son derece katıydı; Komisyon, kurallar kodlandıktan ve yürürlüğe konduktan sonra, kurallar insan müdahalesiyle değiştirilene kadar sistemin kendisi yerinde kalacaktı” dedi.
Rapor, insanlara “otomatik karar alma sürecine tabi olduklarında” ve sonuçlara nasıl itiraz edeceklerinin söylenmesi gerektiğini söyledi.
Komisyon, “Yapay zeka ve otomatik karar verme sistemleri, potansiyel risklerin sürekli olarak değerlendirilmesi ve yönetilmesiyle sağlam, güvenli ve emniyetli bir şekilde çalışmalıdır.” dedi.
Rapor, “AI sistemlerini düzgün çalışması için geliştiren, dağıtan veya çalıştıran kuruluşlar ve bireyler için hesap verebilirlik” çağrısında bulundu.
“Robodebt planı, bir projenin tasarımında yeterli özen ve beceri kullanılmadığında neyin yanlış gidebileceğinin bir örneği olarak hizmet ediyor; tasarım çerçevelerinin eksik olduğu veya takip edilmediği; endişelerin bastırıldığı ve teknolojinin kullanımının sonuçlarının göz ardı edildiği bir yer” dedi komisyon.
Komisyon, giderek daha karmaşık ve daha sofistike yapay zeka ve otomasyon kullanan, daha da feci etkilere sahip – “Yapay zekanın konuşlandırılabileceği hız ve ölçek” ve nerede ve nasıl olduğunu anlamanın artan zorluğu ile büyütülen – gelecekteki programların bir olasılık olduğunu belirtti. başarısızlıklar ortaya çıktı.
Bununla birlikte, iyi yapıldığında AI ve otomasyonun potansiyel olarak etkili devlet hizmetleri yaratabileceğini de kaydetti.
Komisyon, “‘İyi yapıldığında’ kavramı, giderek daha güçlü teknoloji daha yaygın hale geldikçe, hükümetin uğraşması gereken şeydir” dedi.
Veri eşleştirme sorgulandı
Rapor ayrıca, Services Australia ile Avustralya Vergi Dairesi (ATO) arasında değiş tokuş edilen verilerin yasal olup olmadığı sorusunu da gündeme getiriyor.
Hükümete, iki kurum arasında “şu anda işleyen uçtan uca veri alışverişi süreçleri” hakkında yasal tavsiye almasını tavsiye ediyor.
Eşleştirmenin JobKeeper ve daha sonra JobMaker gibi programlara yapılan harcamaları izlemek için kullanıldığı bu tür pek çok veri alışverişi programı, pandemi döneminden çıktı.
“ATO ve [Human Services] komisyon, ortaklaşa yürütülen veri eşleştirme programlarına uygulanan operasyonel yönetişim uygulamalarını gözden geçirmek ve güçlendirmek için acil adımlar atmalıdır” tavsiyesinde bulundu.
“Bu, mevcut veya önerilen veri eşleştirme programlarıyla ilgili tüm adımların ve işlemlerin uygun şekilde belgelenmesini sağlamak için gözden geçirmeleri; mevcut veya önerilen veri eşleştirme programları için mevcut tüm çerçeve belgelerinin gözden geçirilmesini; [and] ilgili veri eşleştirme programı için tasarlanan veri alışverişi hükümleri açısından yasal olarak uyumlu olmalarını sağlamak için mevcut veya önerilen veri eşleştirme programı protokollerinin ortak bir incelemesi.”