Google, hata ödül programı olan Güvenlik Açığı Ödül Programı’nı (VRP) üretken yapay zeka tedarik zincirine özel saldırı senaryolarını kapsayacak şekilde genişleterek, üretken yapay zeka (GenAI) ile ilişkili siber riskleri ele almak için adımlar atıyor.
Güven ve güvenlikten sorumlu başkan yardımcısı Laurie Richardson ve gizlilik, emniyet ve güvenlik mühendisliğinden sorumlu başkan yardımcısı Royal Hansen, firmanın bu adımı atmanın yalnızca potansiyel güvenlik sorunlarını daha hızlı gün ışığına çıkarmakla kalmayıp yapay zekayı herkes için daha güvenli hale getireceğine inandığını söyledi. ancak daha geniş topluluğu yapay zeka güvenliği ve güvenliği konusunda daha fazla araştırma yapmaya teşvik edin.
“Yapay zeka için VRP’yi genişletmenin bir parçası olarak, hataların nasıl kategorize edilmesi ve raporlanması gerektiğine yeni bir bakış atıyoruz. Üretken yapay zeka, haksız önyargı potansiyeli, model manipülasyonu veya verilerin yanlış yorumlanması gibi geleneksel dijital güvenliğe kıyasla yeni ve farklı endişeleri gündeme getiriyor [or] halüsinasyonlar” dediler.
“Üretken yapay zekayı daha fazla ürün ve özelliğe entegre etmeye devam ettikçe, Güven ve Güvenlik ekiplerimiz onlarca yıllık deneyimden yararlanıyor ve bu potansiyel riskleri daha iyi tahmin etmek ve test etmek için kapsamlı bir yaklaşım benimsiyor.
“Ancak dışarıdan gelen güvenlik araştırmacılarının, üretken yapay zeka ürünlerimizi daha da güvenli hale getirecek yeni güvenlik açıklarını bulmamıza ve gidermemize yardımcı olabileceğinin bilincindeyiz. Ağustos ayında, binlerce üçüncü taraf güvenlik araştırmacısının DEF CON’un bugüne kadarki en büyük halka açık Üretken Yapay Zeka Kırmızı Takım etkinliğinde potansiyel sorunları bulmasını sağlamak için Beyaz Saray ve sektördeki meslektaşlarımıza katıldık.
“Artık hata ödül programını genişlettiğimizden ve güvenlik araştırmacılarının avlamasını istediğimiz şeylere ilişkin ek yönergeler yayınladığımızdan, bu yönergeleri herkesin ‘kapsam dahilinde’ olanı görebilmesi için paylaşıyoruz. Bunun, güvenlik araştırmacılarını daha fazla hata göndermeye teşvik edeceğini ve daha güvenli, daha emniyetli bir üretken yapay zeka hedefini hızlandıracağını umuyoruz” dediler.
Aynı zamanda Google, Haziran 2023’te başlattığı Güvenli Yapay Zeka Çerçevesinde (SAIF) bir dizi iyileştirmeyi duyurarak yapay zeka tedarik zincirini daha iyi güvenceye almak için yeni önlemler de getiriyor.
SAIF, güvenilir yapay zeka uygulamaları oluşturma konusunda sektörü desteklemek üzere tasarlandı; temel kuruluş ilkesi, kritik tedarik zinciri bileşenlerinin kurcalama, veri zehirlenmesi ve zararlı içerik üretimi gibi tehditlere karşı korunmasını sağlayan güvenliktir.
Buna ek olarak, Google artık açık kaynak güvenlik çalışmalarını genişletiyor ve Açık Kaynak Güvenlik Vakfı ile daha önce yapılan bir işbirliğini temel alıyor. Bu ortaklık sayesinde, Google’ın kendi Açık Kaynak Güvenlik Ekibi (GOSST), tedarik zincirlerindeki esnekliği artırmak için SLSA çerçevesini kullanacak ve Sigstore, yapay zeka tedarik zincirindeki yazılımın söylediği gibi olduğunu doğrulamaya yardımcı olacak. Google, SLSA ile doğrulama doğrulaması ve Sigstore ile model imzalama için halihazırda prototipleri kullanıma sunmuştur.
Richardson ve Hansen, “Bunlar, üretken yapay zekanın emniyetli ve emniyetli gelişimini sağlamaya yönelik ilk adımlardır ve işin daha yeni başladığını biliyoruz” dedi.
“Umudumuz, tedarik zinciri güvenliğini yapay zekaya uygularken daha fazla güvenlik araştırmasını teşvik ederek, açık kaynak güvenlik topluluğu ve sektördeki diğer kişilerle daha fazla işbirliğini tetiklememiz ve sonuçta yapay zekanın herkes için daha güvenli olmasına yardımcı olmamızdır.”
Açık kaynaklı yazılım (OSS) güvenliği ve yapay zeka konusunda uzman Endor Labs güvenlik araştırmacısı Henrik Plate şunları söyledi: “Aynı güvenlik ilkelerini ve mümkün olduğunda araçları AI/ML’ye uygulamak, sıfırdan güvenli sistemler geliştirmek için harika bir fırsattır.” .
“Gelişmekte olan AI/ML alanıyla karşılaştırıldığında, OSS veya bileşen tabanlı yazılım geliştirme daha uzun bir zaman aralığına sahiptir ve bu da bazen güvenliğin mevcut yazılım geliştirme ve dağıtım süreçlerini aksatmadan köklü teknolojilere eklenmesini daha zor hale getirir.
“Yazılım bileşenlerinin üretimi ve paylaşımı ile AI/ML yapıtları arasında pek çok benzerlik var: Eğitim verileri yazılım bağımlılıklarıyla, eğitilmiş model ikili yapılarla ve Maven Central veya PyPI gibi yapı kayıtları Hugging Face gibi model kayıtlarıyla karşılaştırılabilir. Üçüncü taraf modelleri tüketen geliştiricilerin bakış açısından bu modeller, herhangi bir yukarı akış bağımlılığı gibi düşünülebilir.
“Bazı saldırılar da çok benzer; örneğin, bazı OSS ekosistemlerini bir süredir rahatsız eden, güvenilmeyen kaynaklardan gelen verilerin seri durumdan çıkarılması: Seri hale getirilmiş ML modelleri, seri durumdan çıkarma üzerine çalıştırılan kötü amaçlı kodlar da içerebilir (zaten öne çıkan turşu serileştirme formatındaki bir sorun). BlackHat 2011’de sunuldu). Hugging Face ve açık kaynak projeleri, özel model tarayıcılarla bu sorunu çözmeye çalışıyor.”