Eyalet denetim ofisine göre Revenue NSW, ceza ve tahsilat operasyonlarında yapay zeka ve otomasyon kullanımına ilişkin risk değerlendirmelerini ve dokümantasyonu güncel tutma çabasında gecikiyor.
NSW Denetim Ofisi sonuca ulaştı [pdf] Zorluk yardımı idaresi üzerinde yakın zamanda yapılan bir denetimde, kurumun doğruluk beklentilerini ana hatlarıyla belirtmeyi amaçlayan teknoloji ve belgelere yönelik risk değerlendirmelerindeki “boşlukları” belirledikten sonra.
Ajansa, gelecek yılın Ekim ayına kadar, kullanımdaki her otomasyon ve yapay zeka aracı için güncel bir risk değerlendirmesi yapması ve bu sistemlerin “doğruluğu ve performansına ilişkin temel beklentileri” belgelemesi talimatı verildi.
Bu talimat, denetçinin, otomat ve yapay zekaya yönelik kuruluş çapında bir risk ve fırsat değerlendirmesi geliştirme çalışmalarına bu yılın Temmuz ayında tamamlanmasına rağmen, garnitür sipariş sistemlerinin kullanımına yönelik NSW Gelir risk değerlendirmelerinin 2023’ten bu yana yeniden gözden geçirilmediğini tespit etmesinden sonra geldi.
Revenue NSW, savunmasız bireylerin tespit edilmesi ve yaptırım eylemlerinden korunması ve borç profillerinin oluşturulması da dahil olmak üzere birçok ceza ve borç işlevinde yapay zeka ve makine öğrenimi araçlarını kullanıyor.
Bu çabalar daha önce 2021’de NSW Ombudsmanı’nın, kurumun insan gözetimi olmadan garnishee emirleri vermek için makine teknolojisini yasa dışı olarak kullandığını tespit etmesiyle kamuoyunun incelemesine maruz kalmıştı.
Bazı durumlarda otomatik sistemler, tek gelir kaynağı Centrelink ödemeleri olan hassas sosyal yardım alıcılarının banka bakiyelerini yok etti.
Denetçi dün ayrıca kurumun “otomasyon ve yapay zeka araçlarını NSW Yapay Zeka Güvence Çerçevesi ilkelerine aykırı olarak kullanmasını” yeniden değerlendirmesini önerdi.
Denetçi, “Araçların çerçeveye göre yeniden değerlendirilmesi için zorunlu bir gereklilik olmasa da, NSW hükümetinin yapay zeka etik politikası kapsamındaki temel hususlar, ‘AI çözümlerinin performans, güvenilirlik, sağlamlık ve denetlenebilirlik için açık standartlarla tasarlanması ve bunlara göre izlenmesinin ve bunların etik AI ilkeleriyle uyumlu olmasının zorunlu olduğunu’ özetlemektedir.”
Gelir NSW, 2023-2024’te 43 milyar dolar topladı ve bu, eyaletin o dönemdeki toplam gelirinin yüzde 35’ini oluşturdu.