Yapay Zeka Black Hat Avrupa’da Öne Çıkıyor

Perşembe günü Londra’da düzenlenen yıllık Black Hat Avrupa konferansının kapanış paneli tartışmasında AI gerçekliğine karşı abartılılık konusu hakim oldu. Panelde, konferansın kurucusu Jeff Moss ve bu yıl konferans tarafından alınan ve yaklaşık 50’sini onaylayan yüzlerce başvurunun değerlendirilmesine yardımcı olan konferans inceleme kurulu üyeleri yer aldı.

İnceleme kurulu üyeleri, bu yıl farklı kalitede yapay zeka temalı başvuruların hakim olduğunu söyledi. Bazıları toparlanmayı geçti. Diğerleri arasında, aynı zamanda OWASP yönetim kurulu üyesi olan Vandana Verma, “Yapay zeka tarafından yazılan yapay zeka konuşmaları vardı, bu yüzden onları reddetmek zorunda kaldık” dedi. Yapay zeka tarafından oluşturulan gönderimlerin düşük kalitesi, bunların fark edilmesini kolaylaştırdı.

Kabul edilen belgeler, güvenlik açığı keşfi ve ağ güvenliğinden gizlilik ve olaylara müdahaleye kadar her şeye ayrılmış brifinglerin temelini oluşturdu. Konferansta ayrıca sekiz oturumdan oluşan bir “AI, ML ve veri bilimi” bölümü de yer aldı. Bunlar, üretken bir yapay zeka aracısını hizmet etmesi amaçlanan uygulamaya dönüştürmek de dahil olmak üzere bir dizi konuyu ele alıyordu; bir eğitim setinden bilgilerin çıkarılmasının zorluğu; gizlilik kaygıları; hassas bilgileri ifşa etmeden geliştiricilere yardımcı olmak için LLM kod yardımcılarını kullanmaya yönelik araçlar; ve bazı iş süreçlerini kolaylaştırmak için veri analitiği kullanımını ayrıntılarıyla anlatan büyük bir finans kurumu (bkz: Londra’da Black Hat Europe 2024 Önizleme: 20 Sıcak Oturum).

Siber Güvenlik: Buzzwords tarafından desteklenmektedir

Konuya ilgi göz önüne alındığında, bir “Siyah Şapka: Yapay Zeka” konferansı başlatmanın zamanı gelmiş olabilir mi? Moss, yakın zamanda bu soruyu duyduğunu ve mobil ve daha sonra bulut gibi önceki yoğun ilgi ve odaklanma konularının, “bir nevi pişirilmiş” hale gelmeden önce bir süreliğine baskın göründüğünü belirterek yanıt verdiğini söyledi.

Aynı şeyin yapay zeka için de olacağını öngörüyor. “Göstergedeki herkesin ürününde yapay zeka var, ancak dört yıl sonra ‘şimdi yapay zeka var’ derken kulağa tuhaf gelecek, değil mi?” dedi.

Vendana, sıfır güven ve tedarik zinciri zayıflıkları da dahil olmak üzere son yıllardaki sıcak, bağımsız konuların artık nispeten az sayıda önerilen brifingde yer aldığını söyledi. Her yeni moda kelime için, satıcılar “bununla desteklendiklerini” iddia edecekler, ancak bunun ne anlama geldiği tam olarak açık değil.

Araştırma açısından bakıldığında, “seçtiğimiz görüşmelerin büyük çoğunluğu bir yüksek lisans diplomasını bir şeye uygulamakla ilgili değildi, çünkü bunlar sahip olduğumuz araçların bir parçası olacak, ancak sahip olduğumuz tüm araçların yerini alamayacaklar” dedi. Politecnico di Milano’da siber güvenlik profesörü Stefano Zanero.

Tematik olarak konuşursak, “Yapay zeka ile ilgili konuşmaların çoğu daha genel konuşmalardır; bu anlamda, hızlı enjeksiyon yapmak için bir yüksek lisansa saldırıyorsanız, sadece bir ürünü istismar ediyorsunuz demektir” dedi güvenlik görevlisi panelist James Forshaw. Google’ın Project Zero araştırmacısı.

Mükemmel Kullanım Örnekleri: Sırada Ne Var?

ChatGPT’nin Kasım 2022’de halkın kullanımına sunulmasından bu yana, geniş dil modellerinin kullanılması halkın hayal gücünü etkilemiş görünüyor. Moss, şu ana kadar kullanım senaryosunun, Microsoft Clippy sürüm 2.0’a benzer bir “süper otomatik tamamlama” gibi çalışan bir tahmin motoru olarak odaklandığını söyledi.

İş açısından bakıldığında, yapay zekadaki ilerlemelerin “bu tahminleri giderek daha hızlı, daha ucuz ve daha ucuz hale getireceğini” söyledi. Buna göre, “Eğer güvenlik işinde olsaydım, tüm problemlerimi tahmin problemi haline getirmeye çalışırdım”, böylece tahmin motorları kullanılarak çözülebilirler.

Bu tahmin sorunlarının tam olarak ne olabileceği açık bir soru olarak kalmaya devam etse de Zanero, diğer iyi kullanım örneklerinin kodu analiz etmeyi ve yapılandırılmamış metinden bilgi çıkarmayı (örneğin, siber tehdit istihbaratı amacıyla günlükleri analiz etmeyi) içerdiğini söyledi.

Moss, “Yani soruşturmanızı hızlandırıyor ancak yine de doğrulamanız gerekiyor” dedi.

Zanero, “Doğrulama kısmı çoğu öğrencinin gözünden kaçıyor” dedi. “Bunu tecrübeme dayanarak söylüyorum.”

Doğrulama zorluklarından biri, yapay zekanın genellikle çok karmaşık, kara kutulu bir API gibi çalışması ve insanların doğru çıktıyı elde etmek için istemlerini uyarlamaları gerektiğini söyledi. Sorun şu ki, bu yaklaşım yalnızca doğru cevabın ne olması gerektiğini bildiğinizde işe yarar ve böylece makine öğrenimi modelinin ne yaptığını doğrulayabilir.

Zanero, “Sadece LLM’leri kullanmak değil, tüm makine öğrenimindeki asıl sorunlu alanlar, cevabı bilmiyorsanız ve size daha önce sahip olmadığınız bilgileri verecek modeli almaya çalışırsanız meydana gelen şeylerdir” dedi. “Bu derin bir araştırma çalışması alanı.”

Bir başka yapay zeka sorunu da eğitim verilerinin yaşı olabilir. Moss, bir Python kod yazma örneği sundu ve çalışan Python kodunu hızlı bir şekilde yazmak için gen yapay zekayı kullanan birçok kişiden alıntı yaptı, ancak oluşturulanların mevcut uygulamalarla karşılaştırıldığında altı veya daha fazla yıl eski olabileceğini, çünkü daha eski veriler üzerinde eğitildiğini buldu. . Dolayısıyla oluşturulan kodun bir kavram kanıtı olarak iyi çalışabileceğini ancak “bunun modern olmadığını” ve onu internete açık herhangi bir yere koymanın güvenlik açısından yansımaları olabileceğini söyledi.

Şimdilik: Büyütme Aracı

Dinleyicilerden biri panele şu soruyu yöneltti: Yapay zeka, güvenlik operasyon merkezlerindeki ön saflardaki analistler gibi siber güvenlik görevlerinin yerini alacak mı?

Zanero, Louis CK’ye atfedilen uydurma bir memeye atıfta bulundu: “Eğer dil bilgisi olmayan, bağlantısı olmayan, diploması olmayan bir göçmenin işinizi çalacağını düşünüyorsanız, o zaman belki de berbat olan sizsinizdir.”

Yapay zekanın işleri değiştirmek için değil, onları artırmak için kullanıldığını görmeyi bekleyin. “Araba kullanırken gördüğümüz şeyin aynısı: kendi kendine sürüş işe yaramıyor, öngörülebilir gelecekte işe yaramayacak, ancak araba sürmenin daha güvenli ve daha kolay olduğu noktaya kadar insanlı sürüşe destek, bu zaten mevcut.” dedi Zanero. “Aynı şey, en azından öngörülebilir gelecekte yapay zeka için de geçerli olacak.”