ETSI Güvenlik Konferansı 2025’te Copper Horse’un kurucusu David Rogers ile yapay zeka güvenliğinin gelişen ortamı hakkında konuştuk. Rogers, Güvenilir Yapay Zeka Malzeme Listesi (TAIBOM), makine öğrenimi ve yapay zeka sistemlerini güvence altına almanın zorlukları, veri tahrifatının riskleri ve yapay zeka odaklı karar vermede insan gözetiminin önemi hakkındaki görüşlerini paylaştı.
David, bize biraz kendinden, Copper Horse’tan ve AI, IoT ve güvenlik konusundaki odak alanlarından bahsederek başlayabilir misin?
Adım David Rogers ve 2011 yılında Copper Horse’u kurdum. Aslen mobil sektöründen geldim ve daha ilginç işler yapmak istedim. Başından beri felsefemiz bu oldu; muhtemelen aldığımızdan daha fazla işi geri çeviriyoruz. Yalnızca ilginç projeleri kabul ediyoruz ve bunların toplumsal bir değeri olması gerekiyor. Bu felsefeyi paylaşan mükemmel çalışanlarımız ve danışmanlarımız var.
Yıllar geçtikçe gerçekten güzel şeyler üzerinde çalıştık. ETSI ile ilgili olanlardan biri, EN 303 645 haline gelen IoT güvenliğine ilişkin Uygulama Kurallarıydı. Bu inanılmaz derecede başarılıydı ve parçası olunması gereken harika bir projeydi.
Daha yakın zamanlarda, diğer birçok şirket gibi, sektörde yapay zekaya doğru büyük bir değişim yaşandı. Güvenliği nasıl daha iyi hale getirebiliriz diye araştırıyorduk. Aynı güvenlik ilkelerinin çoğu geçerli, ancak kullanılmıyorlar ve benim görüşüme göre çok zararlı olabilecek şeylerin konuşlandırılmasına yönelik büyük bir telaş var. Bunu yeni düşünce tarzıyla ve aynı zamanda geleneksel iyi güvenlik uygulamalarıyla da çözebiliriz.
ETSI AI güvenlik çalışmasının ortaya çıktığını görmek güzel; bunun gerçekten önemli olduğunu düşünüyorum. Yüksek Lisans’ların güvenlik testleri, yapay zekaya saldırmak için yeni teknikler geliştirme ve veri ve model koruması konusunda araştırmalar yürütme gibi şeyleri proaktif olarak yapıyoruz. Bu çalışma nedeniyle bazı modelleri kendimiz inşa etmek zorunda kaldık ve bu da bazı ilginç projelerin ortaya çıkmasına neden oldu.
Özellikle beğendiğim ve kişisel olarak üzerinde çalıştığım modellerden biri, 17. yüzyıl stenosunu okuyabilen bir model. Oldukça niş bir alan, ancak ABD başkanları, politikacılar ve krallar gibi tarihi şahsiyetler tarafından yazılmış, hâlâ okunmamış on binlerce sayfalık steno var. Güvenlik kaynaklı olarak başladı ancak tarihsel araştırmacılara yardımcı olan olumlu bir şeye dönüştü.
Beşeri bilimler topluluğu genellikle yapay zekaya karşı ihtiyatlı davranıyor çünkü yapay zekayla etkileşimleri genellikle yanlış veya sansasyonel içerik üzerinden oluyor. Bu alanda yapay zekayı nasıl daha güvenilir hale getireceğimizi, örneğin veri kümelerini korumayı araştırıyoruz. Bir veri kümesi Oxford’daki Bodleian Kütüphanesi’nden gelseydi ve dijital olarak imzalanmış olsaydı, ona, kaynağı olmadan internette bulduğum bir veri kümesinden çok daha fazla güvenirdim. Bodleian veya ETSI gibi kurumlara güveniyoruz çünkü onların güçlü kontrollere sahip olduğunu biliyoruz.
Yapay zeka çıktılarını değerlendirirken güveni test etme yeteneği önemlidir. Bir şey güvenilir, doğrulanabilir verilerle eğitilmişse sonuçlar daha iyi olur. Verilerin değiştirilmesi gerçek bir tehdit olduğundan arşivlerin bütünlüğünü de korumaya çalışıyoruz. Kötü amaçlı çıktılar üretecek şekilde eğitim verilerinin değiştirildiği saldırılar olmuştur, dolayısıyla bu bizim için önemli bir odak noktasıdır.
Sunum başlığınız oldukça kışkırtıcı. Yapay zeka güvenliğine yönelik acil ihtiyacı bu şekilde karşılama konusunda size ilham veren şey neydi? Size göre yapay zeka teknolojilerinin hızla yaygınlaşmasıyla ilişkili en acil siber güvenlik riskleri nelerdir?
Sadece acı gerçeği söylüyorum: insanlar çoktan öldü.
Bu sosyoteknik bir sorundur. Chatbotlarla ilgili bir sorun da antropomorfizmdir; insanlar, kendilerine sahip olmayan şeylere kişilik atfederler. Character.AI adlı bir chatbotla ilgili trajik bir vaka yaşandı; birisi onunla etkileşime girdikten sonra kendi canına kıydı.
Bunun tahammül edemeyeceğimiz karamsar bir yanı var; yapay zeka sistemlerinin insanlara çamaşır suyu içmelerini söylemesi gibi, insanların zarar gördüğü veya öldürüldüğü durumlar. Korkuluklar bu şeyleri yakalayacak kadar iyi değil.
Ancak daha az kötümser bir görüş de var. Başka kimseleri olmadığında konuşabilecekleri bir chatbot’a sahip olmak bazı insanlara yardım etmiş, hatta kurtarmış olabilir. Bu olumlu yönleri ölçemeyiz; sadece olumsuzlukları görüyoruz.
Yine de zarar dayanılmazdır. Bahsettiğim bir diğer örnek ise ilişkilerdeki bozulmalarla ilgiliydi. Bazı sohbet robotları kullanıcı girdisini yansıtır; kullanıcının fikri ne olursa olsun, onay olarak geri yansıtılır. Gerçeği söylemez, sadece söyleneni güçlendirir ve çoğu zaman bir olumsuzluk veya zarar sarmalına yol açar.
Bir de şirketlerin karar alma sistemlerinde insanların yerini almaya çalıştığı “ajan yapay zeka” var. Bunu endüstriyel kontrol alanı ve telekomünikasyon sektöründe görüyoruz. Bu tehlikeli. Sanat veya görüntü üretimi için yaratıcılık ve belirlenimsizlik isteyebilirsiniz, ancak güvenliğin kritik olduğu sistemlerde belirleyici yanıtlara ihtiyacınız vardır ve Yüksek Lisans’lar bunu sağlamaz.
Örneğin, ADAS’ın (Gelişmiş Sürücü Destek Sistemleri) arkasındaki modellerin manipüle edilebildiği, otomobilin hız sınırı tabelasını yanlış okumasına veya tamamen görmezden gelmesine neden olan otomotiv sistemlerine yönelik saldırılar gördük. Bu sistemlerin çoğu zaman koruması yoktur. Bu, standart güvenlik önlemleriyle çözülebilecek bir sorundur.
İleriye dönük olarak bu yeni teknolojiyi de korumamız gerekiyor. Yaklaşımlardan biri, Güvenilir Yapay Zeka Malzeme Listesi (TAIBOM) dediğimiz şeydir; bir şeyin değiştirilip değiştirilmediğini doğrulayabilmemiz için her şeyi dijital olarak imzalamak. Ayrıca ETSI konferansımdaki konuşmamda, 1949’da Alan Turing’den gelen ve yazılımın doğru olduğunu bildiği bilgiyi ileri sürdüğü bir kavram olan “iddiaların” kullanımı hakkında da konuşmuştum. Örneğin, bir standardın beş gereksinimi varsa ve bir Yüksek Lisans, yedinci gereksinime atıfta bulunuyorsa, bunu yanlış olarak işaretleyebilirsiniz. Bunun gibi teknikler yapay zeka sistemlerini daha güvenli hale getirmeye yardımcı olabilir.
Sonuçta hemen harekete geçmemiz gerekiyor. Bunun devam etmesine izin veremeyiz. İncelenmemiş bir yapay zeka modeli tarafından kontrol edilen bir su arıtma sistemi gibi büyük ölçekli arızalar olabilir. Bu tür bir karar, kurumsal ihmal nedeniyle insanlara gerçek zarar verebilir.
Güvenilir Yapay Zeka Malzeme Listesi’nden bahsettiniz. TAIBOM’un ne olduğunu, neden oluşturulduğunu ve günümüzde yapay zeka güvenliğiyle ilgisini açıklayabilir misiniz? Copper Horse girişime nasıl katkıda bulundu?
TAIBOM, İngiliz Standartları Enstitüsü, TechWorks ve biz de dahil olmak üzere diğer birkaç kuruluş gibi ortaklarla birlikte bir Innovate UK araştırma projesi olarak başladı. Amaç, konseptin işe yaradığını kanıtlamak, güvenlik saldırılarına karşı gerçekten savunma sağladığını göstermekti.
Bu saldırıları projenin bir parçası olarak gerçekleştirdik ve tüm materyaller şu adreste kamuya açık: taibom.orggüvenlik sonuçlarımız da dahil. TAIBOM uygulaması açık kaynak olduğundan herkes kullanabilir. Onu geliştirmeye devam ediyoruz ve resmi standardizasyona tabi tutulacağını umuyoruz.
Malzeme Listeleri giderek daha önemli hale geliyor; yazılım, donanım ve şimdi de kriptografik. Ancak şu anda standartlar alanı parçalanmış durumda. Bunların hepsinde uyum görmek isterim. Bu ne kadar hızlı gerçekleşirse, daha güvenli sistemlere doğru o kadar hızlı ilerleyeceğiz.
Saf bir araştırma projesiydi ama çok başarılıydı. Sorunları ve faydaları gerçekten ancak mühendislikle ellerinizi kirlettiğinizde anlarsınız.
Sizin bakış açınıza göre, TAIBOM gibi girişimler kuruluşların yapay zeka sistemlerine güven oluşturmasına yardımcı olmada ne kadar etkili oldu ve bunu değerlendirmek için hangi ölçümler veya göstergeler kullanılıyor?
Uzun zaman alacak. Yapay zekaya olan güven şu anda çok düşük ve anlaşılır bir şekilde öyle. Aynı zamanda ulus devlet propagandası, yanlış bilgilendirme ve insanların “Yapay Zeka çılgınlığı” olarak adlandırdığı, çocuk videolarında bile internete akın eden gereksiz içerikle de uğraşıyoruz. Psikolojik olarak zararlıdır ve distopik bir bilimkurgu romanında yaşadığımız duygusunu güçlendirmektedir.
Hükümetler açıklamalar yapıyor ancak pazar hâlâ tüketicilerin ne alacağını belirliyor. Bu hemen değişmeyecek. Bu abartılı reklamı aşıp “odadaki yetişkinlerin” güvenli, dayanıklı sistemler oluşturduğu bir aşamaya geçebileceğimizi düşünmek isterim.
“Yapay zeka” olarak adlandırılan şeylerin çoğu yapay zeka bile değil; makine öğrenimi ya da sadece yazılım mühendisliği. Yapay genel zeka ve duyarlılık hakkındaki abartı dikkat dağıtıcıdır. İnsanlar tepki verme şekillerinden dolayı makinelerin duyarlı olduğuna inanırlar ama biz tüm kusurlarımıza rağmen hâlâ insanız.
Kuruluşlar, özellikle karmaşık üçüncü taraf bileşenleri veya açık kaynak kitaplıkları içerdiğinde yapay zeka sistemlerini nasıl güvence altına alabilir?
Kendi verileriniz üzerinde eğitilmiş bir LLM’yi hâlâ kullanabilirsiniz, ancak onu nasıl kullandığınız sıkı bir şekilde kontrol edilmelidir. Uzman denetimi çok önemlidir.
Kodlayıcıları yöneten birinden, genç geliştiricilerin üretken kodlama araçlarıyla uğraştığını, kıdemli kodlayıcıların ise bunları yararlı bulduğunu duydum. Deneyimli geliştiriciler yararlı çıktıları belirleyebilir; gençler her zaman neyin saçma olduğunu söyleyemezler.
Mesela benim steno modelimde yapay zeka benim yardımcım gibi davranıyor; olasılıkları öneriyor ama son kararları ben veriyorum. Yapay zeka bilinmeyen bir kelime içeren bir cümle çıkarırsa, bunu doldurmak için birden fazla yöntem kullanabilirim (kendi muhakeme gücüm veya doğal dil işleme önerilerim) ancak seçim yine de bana ait.
Prensip şu: Yapay zekanın sınırsız karar almasına izin vermeyin. Makineler, insan gözetimi olmadan diğer makineleri kontrol etmemelidir.
Ayrıca gerçek dünya ile onun dijital temsili arasındaki boşluğu da ele almamız gerekiyor. Örneğin, bir fast-food restoranında personel yemek hazır olmadan “sipariş teslim edildi” tuşuna basabilir; bunu yapmalarının nedeni hedefleri tutturmaktır; sistemle oynuyorlar. Dijital sistem doğru olmayan bir şeyi gösteriyor. Sensörler arızalanabilir veya hatalı okumalar sağlayabilir. Bu uyumsuzluklar, özellikle otomasyonun üst katmanlarda yer aldığı durumlarda sürekli karşılaşılan zorluklardır.
Önümüzdeki birkaç yıl içinde güvenlik uygulamalarının ve politikalarının nasıl gelişeceğini görüyorsunuz?
Pek çok yeni kural olacak, ancak bazı büyük teknoloji şirketlerinin gerçek zararla karşı karşıya olsa bile bunları görmezden gelmeye devam edeceğini düşünüyorum. Bunu yapabilecek yasal güce sahipler ve hükümetler büyük bir zorlukla karşı karşıya. Vatandaşlar bu yapay zeka “çöküşünün” kurbanlarıdır.
Bu nedenle kısa vadede kötümserim. Ancak uzun vadede kullanışlı ve güvenilir teknolojiyle daha iyi bir yere ulaşacağımızı umuyorum.
