Yapay Zeka ve Makine Öğrenimi, Etkinlikler, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
‘Hızlı bina’ ‘Yetkin bir şekilde bina’ anahtar olarak kalıyor, uzman diyor
Mathew J. Schwartz (Euroinfosec) •
6 Mayıs 2025
Yapay zeka ve eşlik eden güvenlik, emniyet ve güvenilirlik endişeleri ile ilgili sorular ile ilgili sorular bu yıl San Francisco’daki RSAC konferansına hakim oldu.
Ayrıca bakınız: Güvenlik İş Akışı Otomasyonu Karmaşıklığı Keser
Görünüşe göre, her satıcı ürünü şimdi, veri kümelerini analiz etmek için kullanılan büyük dil modellerinden, gerçekçi görünümlü ve sondaj metin, ses ve video oluşturmak için üretken AI’ya, özerk hareket etmek için tasarlanmış ajan ajanlarına kadar birçok şey anlamına gelebilir.
Daha geniş tartışmalar, güvenlik ve güvenlik endişelerinin kitleler için AI inovasyonunu ne ölçüde geri alabileceği konusunda artmaktadır. Şubat ayında Paris’teki AI Eylem Zirvesi’nde konuşan ABD Başkan Yardımcısı JD Vance, dünyanın odak noktasının AI fırsatları üzerinde olması gerektiğini söyledi. “Yapay zeka geleceği, güvenlik konusunda el sıkıştırarak kazanılmayacak” dedi.
Vance’in “AI Güvenliği: Buradan nereye gidiyoruz?” 29 Nisan’da RSAC Konferansı’nda panel, Microsoft’un AI Red ekibini kuran moderatör Ram Shankar Siva Kumar, İngiltere hükümetinin AI Güvenlik Enstitüsü’nün baş teknoloji sorumlusu Jade Leung’a en yeni jenerasyon veya “ön” AI modelleri için güvenlik değerlendirmelerini denetlediği Jade Leung’a sordu.
Daha önce Openai’deki yönetişim ekibine liderlik eden Leung, “hızlı bina” da gerekli kalırken, “yetkin bir şekilde bina” nın da olmasını sağladığını, çünkü güvenlik, güvenlik ve fırsat ayrılmaz bir şekilde iç içe kaldığını söyledi.
Yapay zeka modelleri, ampirik olarak sağlam bir temele dayanan kanıtlanmış bir güvenlik ve güvenlik geçmişine sahip olmadıkça, hem işletmeler hem de kimyasal, biyolojik, siber güvenlik ve insan etkisi gibi alanları kapsayan ulusal güvenlik endişelerine dikkat etmesi gereken hükümetler tarafından evlat edinme zorluklarıyla karşılaşacaklar.
Leung, “Açıkçası, yetenekler güvenlik ve emniyetten çok daha hızlı hareket ediyor. Bence sahada zar zor devam ettiğimiz bireylerden bir his var.” Dedi.
Diğer birçok alanda olduğu gibi, AI ölçümü giderek daha politik büyüyor. Yine de, “özellikle ciddi ulusal güvenlik riskleri söz konusu olduğunda, umudum bunun için bir tür yerçekimi olmasıdır,” dedi Leung, dikkatli ve sürekli değerlendirme ihtiyacı üzerine “uluslararası fikir birliği” oluşturma ihtiyacını söyledi.
Frontier modellerinin davranışlarında sekmeler tutmaya çalışırken zorluklar boldur. Alphabet’in Google Deepmind Araştırma Laboratuvarı güvenlik ve gizlilik başkan yardımcısı panelist John “Four” Flynn, “Bir modeli önceden eğitmeye başladığınızda, sonunda nasıl olacağını bilmiyorsunuz” dedi. Ayrıca, “sentetik test ortamınız her zaman gerçek dünyada gördüklerinizi çoğaltmaz.”
Birçok AI geliştirme ekibi, geliştirme süreci boyunca bir modelin hızlı enjeksiyon saldırılarına karşı direncini kaydetmek için performans kriterlerini ve lider tablolarını izler. Daha fazla aracı sistem karar vermek ve görevleri özerk olarak yürütmek için tasarlandığından, “ön plana çıkacak bir dizi gizlilik sorununu” öngörüyor ve dikkatle izlenmesi ve yönetilmesi gerekiyor.
AI Güvenlik Enstitüsü Leung, Frontier modellerinin araştırmacıların iyi hazırlanmış olması gereken “ortaya çıkan” veya “farklı” davranışları giderek daha fazla spor. Bu, bir değerlendirme veya test ortamındaki yeteneklerini – gerçek dünya dağıtımına karşı – tespit edilmesi zor yollarla küçümseyen bazı AI modellerini ifade eden kum torbasını içerir. AI ajan iskelelerinin artan kullanımı, daha karmaşık görevler izlemelerine veya ortak hataları veya istenmeyen davranışı ortadan kaldırmalarına izin veren, modellerin nasıl kötüye kullanılabileceğini anlama çabalarını da karmaşıklaştırmaktadır.
Bir başka zorluk da, NVIDIA’da yazılım ürün güvenliği, mimarisi ve araştırmalar başkan yardımcısı Daniel Rohrer, AI modellerinin konuşlandırıldığı sistemlerin de değerlendirilmesi gerektiğidir.
Güvenlik cephesinde, bir model, bir kuruluşun sadece bir tane veya bir avuç kullanması gerekebilecek ve böylece modeli buna göre kısıtlamak isteyebileceği binlerce yetenek sunabilir. Rohrer, “Karmaşıklık arttıkça kontrolü uygulama yeteneği gerçekten önemli olacak.” Dedi.
RSAC konferans panelistleri, modellere olan güvenin başarılarının anahtarı olduğunu söyledi. Flynn, Google’ın İkizler Ai Ailesi ailesinin nasıl inşa edildiğine güvenmenin, özellikle işletmelerin herhangi bir modelde ne kadar güvenmek istediklerini anlamaya çalıştıkça proje ekibi için önemli bir hedef olduğunu söyledi.
“Orada işimizi gerçekten göstermek için hala yapmamız gereken çok iş var” dedi.
Bir modelin güvenilir olabileceğini kanıtlama ihtiyacı, otonom kararlar vermelerini sağlamak için AI odaklı araçlara verilen artan bağımsızlık göz önüne alındığında, “ajan bir dünyada iki kat doğru olacaktır” dedi. “Kurumsal verilerinize artan erişimleri var, veritabanlarından, e -posta ve diğer veri depolarından çekme çağrıları yapma yeteneğine sahiptirler ve” Bu güven düzeyi, inşa ettiğiniz modelleri tedarik eden temel satıcıya güvenecek ve güvene sahip olacak. “
Daha iyi AI hijyeni aramak
Massachusetts teknolojisi Enstitüsü’nde bilgisayar bilimi profesörü olan Vinod Vaikuntanathan, hükümetlerin tespit edilemeyen arka kapıları “sistemin girdi/çıktı davranışını tamamen kontrol etmek için kullanılabilecek” LLM’lere tespit edilemeyen arka planlar ekleme yeteneği gibi çok sayıda büyük resim güvenlik sorusu devam ediyor.
“Bu teorik olarak mümkün,” dedi, 29 Nisan’daki konferansın yıllık kriptografları paneline katılırken. “Bence bunun pratik olarak da mümkün olduğunu düşünüyorum.”
RSA kriptosistemindeki “S” olan diğer panelist ve kriptograf Adi Shamir, “Çok, çok çekici bir hedef olacak” dedi. “Hükümetler kendi arka kollarını sistemlere koyma fikri gibi.” Bu tür AI Backroors, yüz tanıma sistemlerini sabote etmek, sistemi birinin kimliğini bir başkasına atamak veya anonim tutmaya – ya da diğer “hükümet hedefleri” için kandırmak için kullanılabilir.
LLMS’nin nasıl işlev görmesinin anlaşılmazlığı, kötü amaçlı yazılım üretim yeteneklerinin içinde kolayca gizlenebileceği ve geliştiricilerin uygulamalarında sırrı sırrı için kullanıldığı anlamına gelir. Shamir, “İnsan yapımı yazılımdan yapay zeka tabanlı yazılıma geçiş son derece tehlikelidir.” Dedi.
MIT’den Vaikuntanathan, araştırmacıların, önce onları tespit etmek zorunda kalmadan eklenmiş olan herhangi bir arka kolun etkisini azaltmanın yollarını araştırdıklarını söyledi. RSAC Konferansı’nda tekrar tekrar tartışılan bir strateji, yanlış davranmadıklarından emin olmak için diğer AI araçlarında sekmeleri tutmak için AI araçları tasarlamaktı.
Güvenlik açısından, Vaikuntanathan, bu tür gözetim araçlarından istenen sonucun düzenli olarak ellerini yıkamaya benzer olduğunu söyledi. “Ellerinizin mikropları olup olmadığını bilmiyorsunuz, tespit edilemez, ama yine de ellerinizi yıkarsınız ve ellerinizin mikropları varsa, temizlenirler ve ellerinizle başlamak için temizse, hala temizler.”
Araştırmacılar, kolektif hedefin el ele almadığını değil, AI araçlarının güvenli, güvenilir ve güvenli kalmasını sağlamak için yeni yollar bulmak olduğunu vurguladılar. Vaikuntanathan, “Saldırı yüzeyinin hızlı büyüdüğünü düşünüyoruz ve bunu anlamaya çalışmak için çok daha fazla çaba harcamalıyız.” Dedi.