Birleşik Krallık’taki siyasi partiler Postane skandalını kınama konusunda yarışırken aynı zamanda zorlu sosyal sorunlara yanıt olarak yapay zekayı desteklemek konusunda da birleşiyorlar. Bu, aslında aynı şeyin daha fazlasını savundukları anlamına gelir; bilgi işlem ve bürokrasinin sıradan insanların hayatlarını altüst etmek için bir araya geldiği, ancak Horizon’un zararlarının küçük bira gibi görünmesini sağlayacak şekilde yapay zeka tarafından ölçeklendirildiği daha fazla durum için.
Horizon IT sistemi ve yapay zekanın ortak noktalarından biri de yanılabilir olmalarıdır; her ikisi de öngörülemeyen hatalar üreten karmaşık sistemlerdir. Ancak Fujitsu’nun tıkalı muhasebe sistemindeki hatalar kalitesiz yazılım testlerinden kaynaklansa da yapay zekanın sorunları temel niteliktedir.
Yüzleri tanımak veya soruları yanıtlamak gibi yapay zekaya ‘vay be faktörü’ kazandıran operasyonlar, aynı zamanda onu dağıtım dışı hatalar (Tesla’nın kendi kendine giden araba kazalarını düşünün) ve halüsinasyonlar gibi yeni türdeki başarısızlık modlarına da yatkın hale getiriyor.
Üstelik milyonlarca parametrenin dahili karmaşıklığı sayesinde, bir yapay zeka sisteminin neden belirli bir yanıt bulduğunu anlamanın kesin bir yolu yok. Yapay zekanın yasallık sorunu yaratmak için mahkemeye gitmesine bile gerek yok; bu doğuştan gelen şeffaflık, her türlü hukuki sürecin antitezidir.
ChatGPT gibi dil modelleri de güvenilmez tanıklar yapar çünkü aslında yalan üretmek üzere eğitilmişlerdir. Bu tür sistemler gerçeklere göre değil, makul çıktılar üretmeye göre optimize edilir (çok farklı bir şey). Kulağa doğru gelseler bile kelimenin tam anlamıyla bir şeyler uyduruyorlar.
Yasal tavsiye için yapay zekaya başvuran tedbirsiz vatandaşın vay haline; çoğu, uydurma içtihatlara atıfta bulundukları ortaya çıktığında, anlayışsız yargıçlar tarafından zaten kızartılmış durumda.
Yapay zeka aynı zamanda Postane skandalının diğer boyutunu da güçlendiriyor: posta müdür yardımcılarına yönelik sürekli kurumsal zulüm.
Bürokrasi gibi yapay zekanın algoritmaları da, soyutlamaların bir sistem ile uygulandığı sistem arasında bir duvar oluşturduğu ve bu sistemlerin farklı etiket ve kategorilerden oluşan bir koleksiyona indirgendiği büyük sistemleri organize etmenin bir yoludur. O halde devlet kurumları ve algoritmalar arasındaki sinerjinin halihazırda yapısal şiddeti ölçeklendirme eğilimi göstermesi belki de şaşırtıcı değildir.
Hollanda’da bir algoritma, on binlerce aileyi çocuk yardımı sistemini dolandırmakla suçladı; parayı geri ödemeleri emredildi, birçoğu felç edici borçlarla ve sosyal dışlanmayla karşı karşıya kaldı.
Avustralya’da Robodebt algoritması 400.000 kişiyi sosyal yardım dolandırıcılığından suçlu olarak etiketledi. Bu aynı zamanda özelleştirilmiş borç tahsildarlarının çoğu zaten engelli veya akıl sağlığı sorunları olan kenarda kalan insanları takip etmesi nedeniyle sayısız hayatın mahvolmasına da yol açtı. Postanede olduğu gibi Robodebt planının da dahili olarak kusurlu olduğu biliniyordu ancak kurumsal, siyasi ve hukuki zorbalıkla yıllarca sonuna kadar savunuldu.
Hollandalı algoritmanın hedef aldığı ailelerin çoğu azınlık topluluklarından geliyordu ve öyle görünüyor ki Postane soruşturmaları da yüksek dozda ırkçılıkla geldi. Kendi iç araştırmaları, alt posta müdürlerinden şüphelenmek için ‘Çinli/Japon tipler’, ‘Koyu Tenli Avrupalı Tipler’ ve ‘Zenci Tipler’ gibi eski ırksal kodları belirledi.
Yapay zeka sistemlerine geçiş, bu tür ırk ayrımcılığını endüstriyel ölçekte yeniden üretecektir; çünkü yapay zeka yalnızca eğitim verilerine gömülü ırkçılığı özümsemekle kalmaz, aynı zamanda bunu indirgeyici sınıflandırmalar ve dışlamalar yoluyla yansıtır. Yine de, yapay zeka ile ilgili iyi belgelenmiş sorunlara rağmen, her kesimden politikacı, yapay zekanın kitlesel olarak benimsenmesine kararlıdır.
Bilimkurgu teknolojisinin sosyal zorlukları çözebileceğine dair sarsılmaz inanç, Başbakan’ın “hastanelerimizi ve okullarımızı dönüştürmek için yapay zekanın inanılmaz potansiyelinden yararlanma” iddiasıyla yansıtılıyor ve bir şekilde bunun öğretmen ve düzgün maaşlı sağlık personeli eksikliğinin yerini alacağını hayal ediyor. veya binalardaki kelimenin tam anlamıyla çöken tavanları onarın.
Bu arada İşçi Partisi, okul devamsızlığındaki artışın üstesinden gelmenin bir yolu olarak yapay zekayı öneriyor; Savunmasız aileleri ilgilendiren karmaşık bir konuyu ele almanın ve çok ihtiyaç duyulan bakımın yerine bulut tabanlı hesaplamanın hesaplama gücünün getirilmesinin bir başka örneği.
Bunların bir kısmı haber manşetlerini kapmaya yönelik olağan girişimler olsa da, işin içinde daha derin ideolojik bağlılıklar da var. Yapay zeka, 1970’lerden bu yana ortaya çıkan eğilimleri yoğunlaştırarak ekonomik sistemi canlandırmanın yolu olarak görülüyor; İşçilerin otomasyonla değiştirilmesi ve geri kalan kamu hizmetlerinin özelleştirilmesi yoluyla iş güvenliğinin azaltılması.
Yapay zekayı teşvik etmek arka kapıdan özelleştirmedir, zira bu kaçınılmaz olarak kontrolün teknoloji şirketlerine devredilmesi anlamına gelir. Ancak yapay zekaya bu devir, hayatlarını etkilediği kişilerin seslerini geçersiz kılmaya devam ettikçe daha fazla adaletsizliğe yol açacak.
Sam Altman, Marc Andreessen ve Peter Thiel gibi Silikon Vadisi figürlerinin kamuya açık açıklamalarını ve gelecek topluma dair vizyonlarını dinleseydik, bunların da Postane davaları gibi “kamu vicdanına hakaret” olduğunu fark ederdik. ”.
Horizon IT skandalı, gerçek dehşetine rağmen, transhümanist tekno-fantezilerin neden olduğu ikincil hasarla karşılaştırıldığında tuhaf bir şekilde İngiliz gibi görünecek.
Postane skandalının az bilinen bir detayı da, 1990’larda alınan şaşırtıcı derecede kötü kararlar nedeniyle İngiliz hukukunun bilgisayar kanıtlarının güvenilir olduğunu varsaymasıdır. Bu en azından basit bir bakış açısı değişimiyle düzeltilebilir; Güvenilirliğine ilişkin kanıt üretilemediği sürece bilgisayar kanıtlarına güvenilmemelidir. Yapay zekanın bir şeyler uydurduğuna dair makul şüpheyi ortadan kaldırmak için mahkeme önüne getirilebilecek kapsamlı bir ölçüm veya test yoktur.
Ancak bunu fark etmeden önce yapay zeka kaynaklı skandalların mahkemeye gelmesini bekleyemeyiz çünkü o zamana kadar zarar verilmiş olacaktır.
Yapay zekaya güvenilemez ve ne kadar mütevazı olursa olsun, insanların hayatlarını etkileyebilecek her türlü karar alma sürecinin dışında tutulmalıdır.
Açık soru, bu tür korumaları nasıl hayata geçirmemiz gerektiğidir. Horizon ve diğer algoritmik adaletsizliklerin ortak teması, bürokrasi ile hesaplamanın ‘küçük insanlar’ üzerinde kontrolden çıkan bir makinede birleşmesi.
Tüm bu durumlarda, sözde kontrol ve denge sistemi sistemi sorumlu tutmakta tamamen başarısız oldu. Yeni imzalanan AB Yapay Zeka Yasasında önerilen algoritmik denetimler gibi anemik önlemlerin gerçek bir ilgi uyandırması pek mümkün görünmüyor.
Robodebt ve Postane fiyaskolarından alınacak güçlü ders, makinenin yalnızca sıradan insanların bir araya gelmesiyle durdurulabileceğidir. Her iki durumda da, işlere gerekli anahtarı atan, etkilenen insanların ve onların müttefiklerinin öz örgütlenmesi oldu, ancak elbette ki bu, büyük bir çaba ve acının ardından gerçekleşti.
Elbette, algoritmik otoriteye duyulan haksız güvenin, Avustralya Kraliyet Komisyonu’nun “satışçılık, beceriksizlik ve korkaklık” olarak adlandırdığı şeye nasıl bir kılıf haline geldiğini erkenden fark etmek daha iyidir.
‘Her yerde yapay zeka’ ideolojisine meydan okumanın ve bunun yerine insan merkezli çözümlere yönelmenin zamanı, daha sonra değil, şimdidir.