Tarih boyunca, insanlar savaşta üstünlük sağlamak için her zaman yeni teknolojiler uygulamışlardır. Dünya çapındaki ulusların ölümcül otonom silah sistemleri (AWS) geliştirmek ve konuşlandırmak için gösterdiği mevcut telaş da farklı değildir. Bu teknolojinin ustaları, savunucularının caydırıcılık yoluyla barışı teşvik edeceğinde ısrar ettiği göz kamaştırıcı sert güç yeteneklerine sahip olacaklar. Eleştirmenler ise buna katılmıyor. Bunun yerine, yaşam ve ölüm kararlarını soğuk algoritmik hesaplamalara teslim ederek savaşçıları ve sivilleri insanlıktan çıkarırken savaşı teşvik edeceğini iddia ediyorlar.
Her iki bakış açısının da vaka bazında doğru çıkması mümkün. Çok şey, teknolojinin kullanıldığı bağlam prizmasına bağlı olacaktır. Sorunun merkezinde, insan operatörlerin makinelere ne kadar kontrol devrettiği yer alır – özellikle de çatışma senaryoları çok daha yüksek bir tempoda ortaya çıktıkça. Çünkü AWS konusunda bir fikir birliği varsa, o da bu sistemlerin savaşı büyük ölçüde hızlandıracağıdır.
Yapay zeka (YZ) ve robotik alanında 100’den fazla uzman, 2017 yılında Birleşmiş Milletler’e (BM) açık bir mektup yazarak AWS’nin “her zamankinden daha büyük bir ölçekte ve insanların kavrayabileceğinden daha hızlı zaman dilimlerinde savaşa yol açabileceği” konusunda uyardı. Gerçekten de bu dinamik büyük bir silah kontrolü ikilemini tetikliyor. İnsanların kendilerinden daha hızlı düşünebilen ve bir gün bağımsız hareket edebilecek ölümcül teknolojileri dizginleyip dizginleyemeyecekleri konusunda belirsizlik ve anlaşmazlıklarla dolu bir durum.
Katil Robotları Durdurma Kampanyası’na göre, AWS’nin yayılmasını ve kötüye kullanımını engellemek için katı uluslararası kurallar gereklidir. Bu pozisyon düzinelerce küçük ülke ve Nobel Barış Ödülü sahibi ile çok sayıda barış ve güvenlik bilim insanı tarafından desteklenmektedir. Buna karşılık, askeri güçler yasal olarak bağlayıcı güvenlik önlemlerine direnmektedir.
Britanya, Çin, Hindistan, İsrail, ABD ve diğerleri gibi ülkeler bunun yerine insan-döngüde ilkeleri aracılığıyla sorumlu kullanım için savunuculuk yapıyor. Bu, teoride, AWS birimleri tarafından güç kullanımının her zaman bir insan operatör tarafından denetlenmesini ve onaylanmasını taahhüt eder.
Ancak AWS’nin yeni yinelemeleri, askeri jargonla gözlem, yönelim, karar ve eylem dizilerinin saldırıları nasıl belirlediğini açıklayan OODA döngüsünü hızlandırıyor.
Dahası, otomasyon önyargısının, ortaya çıkan teknolojinin kullanımında rutin olarak insan yargısını yerinden ettiği bilinmektedir. Bu iki faktörü, yani gelişmiş hız ve makinelere saygıyı birleştirdiğimizde, AWS’nin uygulamalı operatörlerinin bile kullandıkları silahlar üzerinde tam kontrole sahip olup olmayacakları açık bir sorudur.
‘Bilgisayar öldür diyor’
Otomasyon önyargısı, genel olarak kullanıcıların çelişkili kanıtlara veya kendi algılarına göre bilgisayar tarafından üretilen kararları kabul ettiği bir durum olarak tanımlanmaktadır.
MIT’de bir teknoloji uzmanı olan Pat Pataranutaporn bir e-postada “En tehlikeli yapay zeka Terminatör tipi değil,” dedi. “Çünkü kötü niyeti apaçık ortada.” İnsan-yapay zeka etkileşimi konusunda uzman olan Pataranutaporn’a göre, “asıl tehlike dost canlısı görünen ama davranışlarımızı tahmin edemeyeceğimiz şekillerde sinsice manipüle eden yapay zekada yatıyor.”
Ağustos ayının başlarında, kendisi ve bir meslektaşı, insan operatörlerine karşı aynı anda hem üstün hem de itaatkar olan sistemler olan “bağımlılık yaratan zekanın” tehlikeli cazibesini anlatan bir makale yazdı.
Pataranutaporn’un araştırması AI yoldaşlarına odaklansa da, devlet ve devlet dışı aktörler tarafından AWS kullanımıyla ilgili benzer riskler açıktır. Bu, özellikle akıllı silahların temelindeki bilgisayar modelleri zafere giden en kısa yol olarak yakılmış toprak taktiklerini tavsiye ediyorsa veya seçiyorsa geçerlidir.
Örneğin, geçtiğimiz yıl büyük dil modelleri kullanılarak yürütülen çok sayıda savaş oyunu, askeri komutan rolü yapan yapay zeka botlarının, nükleer saldırılar düzenleyerek düşmanları ezme konusunda endişe verici bir yatkınlık sergilediğini gösterdi.
Çatışmanın otomatikleştirilmesi
Gerçekten de, AI halihazırda savaşta devrim yaratıyor. Moskova’nın Ukrayna’daki emperyal kumarı, makine öğrenimi, görsel tanıma araçları, dijital ağ bağlantısı ve robotikte karşılanabilirlik ve erişilebilirlikteki büyük sıçramalarla aynı zamana denk geldi. Bu yüzyılın şimdiye kadarki en büyük eyaletler arası savaşını başlatmanın yanı sıra, sonuç AWS’yi tasarlamak, test etmek ve doğrulamak için benzersiz veri açısından zengin bir savaş ortamı yaratmak oldu.
Ukrayna’nın Rus işgalcilere karşı savunmasının büyük kısmı artık tamamen otonom kabiliyete yakın sistemler kullanan drone-drone mücadelesine indirgendi. Haziran ayında, Kiev ordusunda yeni bir İnsansız Sistemler Kuvvetleri şubesi kurdu – dünyada bir ilk. Bir ay sonra, Ukrayna ve NATO batı askeri ittifakı yeni bir 45 milyon avroluk (37 milyon sterlin) ortak Drone Koalisyonu fonu duyurdu. İngiltere ve Letonya liderliğinde, ön cephedeki Ukraynalı savaşçılara drone tedarikini ve teslimatını hızlandırmak amaçlanıyor.
Ancak dronlar doğu Avrupa’nın çok ötesindeki yerlerde de her yerde mevcuttur. İnsansız sistemler Gazze ve Myanmar’dan Sudan, Etiyopya, Azerbaycan’daki Dağlık Karabağ, Kuzey Irak ve Suriye’ye kadar uzanan çatışma bölgelerinde yaygın olarak kullanılmıştır. ABD ordusu, küresel enerji kaynakları için stratejik olarak hayati bir koridor olan ve İran’la sınır komşusu olan Hürmüz Boğazı’nı izleyen yapay zeka kontrollü yüzey gemilerinden oluşan bir filo bulundurmaktadır.
Güney Kore’nin Kuzey Kore ile arasındaki askerden arındırılmış bölgenin tarafında otonom nöbetçi silahları bulunuyor. BM uzmanlarından gelen bir rapora göre, dünyanın ilk gerçek anlamda otonom katil robotu – Türk devletine ait savunma konglomerası STM tarafından üretilen bir insansız hava aracı – 2020’de Libya’da, haydut ordu generali Halife Hafter’e sadık isyancı savaşçıları avlamak için kullanıldı.
Gelişmiş yazılım bileşenleri, öğrenme destekli elektronik savaş veya hızlı hedef tanımlama ve edinim programları olsun, geleneksel kuvvetlerin savaşma verimliliğini de artırıyor. Bu yeniliğin önemli bir kısmı, küresel savunma endüstrisini altüst etmeyi amaçlayan Silikon Vadisi ve diğer yerlerdeki girişimler tarafından yönlendiriliyor. ABD ordusundan gelen bir rapor, tüm bu yeni teknolojinin toplamının, büyük ölçekli muharebe operasyonlarının ölümcüllüğünü, modern askeri doktrinlerde muhtemelen bir değişikliğe yol açacak bir noktaya kadar önemli ölçüde artıracağını öngörüyor.
AWS’nin kaçış hızı
Yazma Dışişleri dergisi, eski CEO ve Google başkanı Eric Schmidt, eski ABD askeri şefi Mark A Milley ile birlikte, ABD ve müttefiklerinin AWS için maksimalist bir strateji benimsemeleri gerektiğini söylüyor. “Gelecekteki savaşlar artık kimin en fazla insanı toplayacağı veya en iyi jetleri, gemileri ve tankları sahaya süreceğiyle ilgili olmayacak,” diye savunuyorlar. “Bunun yerine, giderek daha otonom silah sistemleri ve güçlü algoritmalar tarafından domine edilecekler.”
Schmidt ve Milley, bunun anahtarının, devasa miktarda askeri planlamanın yapay ajanlara dış kaynak olarak verilmesi olacağını söylüyor. “Örneğin, yapay zeka sistemleri farklı taktik ve operasyonel yaklaşımları binlerce kez simüle edebilir ve bu da hazırlık ile uygulama arasındaki süreyi önemli ölçüde kısaltabilir,” diye yazıyorlar.
Ancak diğerleri bu tür bir gelecekten çekiniyor. AWS’nin askeri işleyişlere toptan entegre edilmesinin silahlı çatışmalardaki savaşın içsel vahşetini ve sisini daha da kötüleştirme riski taşıdığı konusunda uyarıyorlar.
Çatışmanın insan unsuru – ister zayiat riski, ister farklı görüşler veya bürokratik komuta zincirleri olsun – hükümetlerin güç kullanımını genellikle yumuşatır, her ne kadar kusurlu ve bazen kasıtsız olsa da. En azından alternatif eylem yolları düşünülebilecek ölçüde yavaşlatır. AWS’nin coşkulu bir şekilde benimsenmesi bu hız kesicilerin bazılarını ortadan kaldıracaktır.
Bunun çoğu, silah sistemlerinin donanımını destekleyen yazılım ve veri eğitim protokollerine dayanıyor. Drone Wars UK’de araştırmacı olan Peter Burt, bir e-postada “Bu tür sistemler nominal olarak insan kontrolü altında olsa bile, zorluklar olabilir” dedi. “Bir sistemin çok fazla işlevi otomatikleştirilirse, operatörler süreci düzgün bir şekilde izleyemeyebilir ve gerekirse sistemi geçersiz kılamayabilir.”
Bu çok önemli çünkü bu, AWS’nin güç kullanımıyla ilgili hesap verebilirliği çarpıtabileceği anlamına geliyor. Savaş zamanı kararlarının açıklanabilirliği ve izlenebilirliği “zaten aşırı derecede yetersiz”, Oxford Üniversitesi kıdemli üyesi ve Obama dönemi ABD Ulusal Güvenlik Konseyi üyesi Brianna Rosen Mart ayında bir podcast’te söyledi.
Yapay zekanın bu sürece dahil edilmesinin, farklı askeri birimler ve istihbarat teşkilatları tarafından tercih edilen farklı algoritmalar, veri kümeleri ve prosedürlerin oluşturduğu opak ağ nedeniyle durumu çok daha kötü hale getireceğini öngörüyor ve “hiçbir kişinin bu teknolojinin nasıl çalıştığını tam olarak anlayamayacağı” anlamına geliyor.
Londra Queen Mary Üniversitesi’nde siyaset teorisi profesörü olan ve yapay zekanın askeri amaçlarla kullanılmasının etik olup olmadığı konusunda çalışmalar yapan Elke Schwarz da aynı görüşleri paylaşıyor.
“Otomasyon önyargısı sorunu oldukça çetrefilli, çünkü kolayca üstesinden gelinebilecek bir şey değil,” diyor. “Yapay zeka destekli bir silah sistemini işletmek basit bir komuta ve kontrol meselesi değil.”
Bunun yerine, insan operatörü “işleyişleri her zaman kolayca anlaşılamayan ekranlar, arayüzler ve dijital teknolojiler ortamına yerleştirildiğinde”, sistemi denetlemesi gereken insan aslında kendisine yapay zeka analizinin kara kutusu aracılığıyla sunulan bilgilere bağımlı hale gelir. Elke, daha sonra “öldürmenin verimli veri işleme meselesi haline geldiğini” söylüyor. Öldürmenin bir iş akışı yönetimi biçimi olduğunu söylüyor.
İnsan gözetimi
Rusya dışında – geçen yıl BM’ye AWS’nin tamamen doğrudan insan kontrolü altında tutulması konusunda fazla endişeli olmadığını söyledi – çoğu askeri güç, teknolojinin her zaman insan denetimine tabi olmasını istediklerini açıkça söyledi. Ancak bu pozisyonlar çok az ayrıntıyla iddia ediliyor.
Hukuk profesörü ve AWS uzmanı Rebecca Crootof, “İnsanları işin içinde tutmak söz konusu olduğunda, herkes bu kavrama katılabilirken, aynı zamanda herkes bunun pratikte ne anlama geldiği konusunda fikir ayrılığına düşebilir” dedi. Koruyucu bu yılın başlarında. “Teknolojik tasarım kararlarını yönlendirmek açısından o kadar da yararlı değil.”
Yapay zeka sistemleri evrimleştikçe, yeni tasarımlar her seferinde insan kontrolünü birkaç derece uzaklaştırıyor.
Düşünce kuruluşu Yeni Amerikan Güvenliği Merkezi’nin başkan yardımcısı ve çalışmalar direktörü Paul Scharre, “15 veya 20 yıl sonra geriye baktığımızda çok önemli bir eşiği geçtiğimizi fark edebiliriz” uyarısında bulunuyor.
Otonom İHA’lar
Örneğin Ukrayna’daki girişimler, her birimin birbirleriyle iletişim ve koordinasyon içinde olduğu sürüler halinde çalışabilen veya bir insan operatörle internet bağlantısı kesilse bile bir saldırı gerçekleştirecek şekilde programlanabilen otonom insansız hava araçları geliştirdiler.
Bu arada, AWS eleştirmenleri, İsrail’in Gazze’de AI destekli silahları kullanmasının, teknolojinin savaşı daha kesin ve insani hale getireceği fikrini ortadan kaldırdığını söylüyor – savunucuları arasında temel satış noktaları. Eylül sonu itibarıyla, yerel sağlık yetkililerine göre, Gazze’de 42.000’den fazla kişi IDF güçleri tarafından öldürüldü ve yaklaşık 100.000 kişi yaralandı, bunların büyük çoğunluğu masum sivillerdi.
Bunu gelecekte düzeltmek için, Google’ın eski CEO’su ve başkanı Schmidt ve eski ABD askeri şefi Milley, AWS ve insan operatörlerinin amansız bir eğitime tabi tutulması gerektiğini öne sürüyorlar. Silah sistemlerinin gerçek dünya koşullarında amaçlandığı gibi çalıştığını doğrulamak için sürekli olarak test edilmesi ve değerlendirilmesi gerektiğini tavsiye ediyorlar.
Schmidt ve Milley ayrıca Washington’ın bu ilkeye uymayan ülkelere ekonomik yaptırımlar uygulamasını öneriyor. “Yeni nesil otonom silahlar liberal değerlere ve insan haklarına evrensel saygıya uygun olarak inşa edilmeli – ve bu da agresif bir ABD liderliği gerektirir” diye uyarıyorlar.
Oxford akademisyeni ve yapay zekanın askeri uygulamalarına şüpheyle yaklaşan Rosen da benzer şekilde liberal demokrasilerin akıllı silahların kullanımı hakkında daha belirgin bir kamusal tartışma başlatmasını öneriyor. Bunun, zararlarını azaltmak için iç politikalar ve yasal araçlar oluşturmanın temelini oluşturabileceğini söylüyor. Ve bu yönetim mekanizmaları bir kez yerleştiğinde, AWS etrafında uluslararası bir fikir birliği bulmaya çalışmak için gerekli güvenilirliği sağlayabilirler.
Birkaç hafta önce, ABD de dahil olmak üzere 61 ülke, Seul’de düzenlenen AI’nın sorumlu askeri kullanımı zirvesinde sözde bir “eylem planı”nı onayladı. Bağlayıcı olmayan çerçeve, AI’nın uluslararası barış ve güvenlik üzerindeki etkisinin nasıl ele alınacağına dair ortak bir anlayış ortaya koymayı amaçlayan, üç farklı kategoriye ayrılmış 20 farklı taahhüdü detaylandırıyor. Buna, AWS’nin insan kontrolünün sürdürülmesi ve askeri alanda AI’nın gelecekteki yönetim biçimlerine ilişkin bir vizyon dahildir.
Genel olarak, otonom silahlar 21. yüzyıl çatışmasının bir parçası olmaya hazır görünüyor. Bundan bir veya iki on yıl sonra, insan karar alma sürecinin de öyle olup olmayacağı henüz belli değil.