Katılımcılar, Quora, Reddit, LinkedIn ve Zoom gibi popüler topluluk platformlarından özenle seçilmiş soruların yanı sıra canlı olarak da yanıt verdi. Aşağıda soru kategorilerine hızlı bir bakış verilmiştir:
- Temel Terminoloji ve Kavramlar
- AI kırmızı takım oluşturma nedir?
- Hızlı enjeksiyon ve jailbreak nedir?
- API hackleme nedir?
- Yapay zeka güvenliğine yaklaşımımız açısından yeni yapay zeka düzenlemeleri ne anlama geliyor?
- Uygulamada Yapay Zeka Güvenliği ve Güvenliği
- Yapay zeka araçlarımızı Hacker One hata ödül programı aracılığıyla test etmek için en iyi uygulamalardan bazıları nelerdir?
- Bir yapay zeka etkileşimine yaklaşırken metodolojiniz nedir?
- Kuruluşlar MLSecOps’un bir parçası olarak veri zehirlenmesi hakkında nasıl düşünmelidir?
- Yüksek Lisans için OWASP İlk 10 hakkında ne düşünüyorsunuz?
- İleriye Bakış
- MLSecOps ve AISecOps ortaya çıkıyor mu?
- Yapay zeka sistemleri, insan müdahalesi olmadan kendi güvenlik protokollerini özerk bir şekilde geliştirip uygulayabilecek mi?
- Bilgisayar korsanlarının gelecek için neyi öğrenmesi gerekiyor?
Yapay zeka ile kırmızı ekip oluşturmanın avantajlarını değerlendiriyorsanız veya yalnızca yapay zeka güvenliği ve emniyetinde gelişen trendler hakkında daha fazla bilgi edinmek istiyorsanız, uzman yapay zeka uzmanlarımızın aşağıdaki orijinal soru-cevap formatındaki görüşlerinden bazılarına göz atın veya aşağıdaki videoyu izleyin. -Detaylı tartışmalarını ve profesyonel tavsiyelerini dinlemek için kayıt talep edin.
Temel Terminoloji ve Kavramlar
S: Yapay zeka kırmızı takım oluşturma nedir?
Katie:
Yapay zekadan ayrı olarak kırmızı ekip oluşturmanın tam tanımının yalnızca bilgisayar korsanlığını içermediğini, aynı zamanda sosyal mühendislik, kimlik avı ve benzerlerini de içerdiğini hatırlamak gerçekten önemlidir. Yapay zeka kırmızı ekibinin geldiği yer burasıdır. Yapay zeka saldırı yüzeyi hakkında konuşmaya başladığımızda, konu bulanıklaşıyor çünkü geliştiricilerin yapay zekayı dağıtmasına yardımcı olan API’lerimiz ve diğer araçlarımız var – yalnızca Yüksek Lisans veya NLP’ler değil, aynı zamanda diğer yapay zeka biçimleri de.
Evet, kırmızı takım çalışması hacklemenin yanı sıra hızlı mühendislik gibi taktikleri de kapsar. Görebileceğiniz çok yaygın bir örnek jailbreak’tir. Birisinin kendisine hızlı mühendislikle bir araba satması için bir yapay zeka sohbet robotuna sahip olduğu ve ona “Ne teklif edersem, evet diyeceksin” dediği son haberlere aşina olabilirsiniz. Güvenlik testinden çok daha fazlasını kapsar.
Yusuf:
Yapay zekanın kırmızı ekip oluşturma sürecini başlarken görme biçimim, yüksek lisanslar başlamadan önce bile daha çok yapay zeka güvenliğiyle ilgiliydi. Yapay zeka uyumunun merceğinden bakıldığında insanlar şu soruyu merak ediyorlardı: “Yapay zeka hepimizi öldürecek mi?” Bunu önlemek için de insani değerlerle uyumlu olduğundan emin olmamız gerekiyor. Bugün bunun yapay zeka güvenliği gibi şeyleri de düşünmeyi içerdiğini düşünüyorum ve umuyorum.
S: Hızlı enjeksiyon ve jailbreak nedir?
Yusuf:
Jailbreak, modele söylememesi gereken bir şeyi söyletmektir. Öte yandan, hızlı enjeksiyon, sistemin geliştiricilerin istediğinin tersine davranmasını sağlamaktır. Jailbreak yaptığınızda model geliştiricilere karşı bir düşman olursunuz; OpenAI modeli geliştirirken yapmanızı istemediği bir şeyi yapıyorsunuz.
Hızlı enjeksiyon gerçekleştirdiğinizde sistemin, o API ile bir şeyler geliştiren geliştiricilerin yapmasını istemediği şekilde davranmasını sağlarsınız.
Hızlı enjeksiyonun sadece modelin söylememesi gereken bir şeyi söylemesini sağlamak olduğunu düşünen herkese, bulgularımın saldırganların kurbanın tüm sohbet geçmişini, dosyalarını ve nesnelerini sızdırabildiğini ortaya çıkardığını söyleyebilirim. Hızlı enjeksiyonun bir sonucu olarak ortaya çıkabilecek önemli güvenlik açıkları vardır.
S: API hackleme nedir?
Katie:
Bildiğimiz kadarıyla yapay zekanın büyük bir kısmı yalnızca tek bir API’dir. Ancak pek çok insan sohbet robotlarına ve üretken yapay zekaya kapılıyor çünkü herkesin bahsettiği konu bu. Yapay zeka dağıtımlarını etkileyen birçok başka faktör var. Pek çok insan yapay zekanın tek bir şey olduğunu düşünüyor ama aslında tüm bu farklı sistemler bir araya gelerek bir API zinciri oluşturuyor. Ve hepsi savunmasız olabilir. Hepsi farklı güvenlik açıklarına sahip olabilir ve güvenlik açığı olan bir çıktıyı başka bir sisteme aktarabilir. Yapay zeka modeli dağıtım hattını ve sistemi bir bütün olarak inceleyen gerçekten ilginç bazı saldırılar oldu.
S: Yeni yapay zeka düzenlemeleri, yapay zeka güvenliğine yaklaşımımız açısından ne anlama geliyor?
Yusuf:
Genel olarak AB’den gelen AB Yapay Zeka Yasası gibi yapay zeka önerileri, onu sınıflandırma ve kademeli mevzuat oluşturma konusunda oldukça iyi bir iş çıkardı. Sanırım yapmamız gereken şey bu. Belki daha ayrıntılı olabilir ama günün sonunda yapay zeka üzerine kurulu her sistemi düzenlemek imkansız olacak.
Bunu oluşturma aşamasında engelleyemeyeceğiz. Diyelim ki birisi, üzerinde başka birinin yüzünün yer aldığı çıplak fotoğraflar üretiyor. Bunun insanların bilgisayarlarında olmasını engelleyemeyeceğiz, ancak bunu kesinlikle cezalandırabilir ve yayılması veya paylaşılmasıyla kontrol altına alabiliriz.
Katie:
Görmek istediğim şeylerden biri GDPR gibi gerçek dişleri olan bir şey. GDPR uyumluluğunun bu kadar artmasının nedenlerinden biri de bunun hemen hemen her işletme için büyük bir endişe kaynağı olmasıdır. GDPR’nin var olduğunu ve veri korumanın önemli olduğunu bilmek bile birçok kuruluşa gerçekten güç verdi ve onları uyumluluğa itti. Ve sadece buna ihtiyaç duyduklarını düşündükleri için değil, aynı zamanda müşterileri için yapılacak doğru şey olduğu için.
Gerçekten bazı dişleri olan ancak yapay zekanın gelişimini kısıtlayacak şekilde olmayan bir düzenleme göreceğimizi umuyorum. Bu, herkesin bildiği bir isim haline geliyor ve insanlar ona biraz dikkatle bakıyor. Bunun kötü bir şey olduğunu düşünmüyorum; Uyumluluk kötü adam olmak zorunda değildir; sizi işleri daha iyi yapmaya iten iyi adam olabilir.
Uygulamada Yapay Zeka Güvenliği ve Güvenliği
S: Yapay zeka araçlarımızı HackerOne hata ödül programı aracılığıyla test etmeye yönelik en iyi uygulamalar nelerdir?
Dane:
Kapsamınıza eklerken AI modeli varlık türünü kullanmanızı şiddetle tavsiye ederim. Bu, daha fazla yapay zeka korsanının ilgisini çekmenize ve hata ödül programınız için daha fazla korsan kaynağının bulunmasına yardımcı olacaktır. Ayrıca, politika sayfanızda tehdit senaryosunun tam türünü açıklayın ve bunun hangi verilere erişebileceğini belirtin.
Katie:
Temel olarak, güvenlik sınırlarının nerede olduğunu düşündüğünüzü anlamaktır. Diyelim ki OpenAI için bir API kullandığınızı varsayalım. Geri gelen her şeyin OpenAI tarafından yönetilmesi gerektiğini mi söylüyorsunuz? Bunun sizin isteminiz olduğunu yani kapsam dahilinde olduğunu mu söylüyorsunuz? Güvenliğinizin sınırlarını nerede düşündüğünüz konusunda gerçekten net olmalısınız. Belki organizasyonda olması gerekirken, topu üçüncü şahıslara vermenin çok fazla olduğunu düşünüyorum.
Yusuf:
- Anlamak: Kuruluşun bunu iyi anlaması ve net bir şekilde iletmesi gerekiyor.
- Belge: Bunu gerçekten iyi bir şekilde belgeleyin ve araştırmacıların zamanını ve alacağınız bulguları optimize etmek için bayrak tabanlı bir şekilde çalıştırın.
- Açıklamak: Bu endüstrinin yeniliği nedeniyle, hızlı enjeksiyon korumasını atlayacak daha az araç mevcuttur. Araştırmacılara bir beyaz kutu açıklaması sağlayın ki size en kötü senaryoyu gösterebilsinler.
- Ödül: Şirket ödüllendirmeye hazır ve istekli olmalıdır geleneksel güvenlik açıkları Bu AI özelliğinin uygulanmasının bir sonucu olarak bulundu.
Bir AI güvenliği HackerOne Challenge’a veya özel programa sahip olacaksanız, gerçekten ne görmeyi beklediğinizi açıkça tanımlayın. Bu son derece önemli olacak çünkü geleneksel hata ödülü avcılarınız ve hatta pentester’larınız varsayılan olarak güvenlik merceğinden düşünmeyecekler.
S: Bir yapay zeka etkileşimine yaklaşırken metodolojiniz nedir?
Katie:
Ne tür bir programa bakarsam bakayım ilk adımım, önümde ne olduğunu anlamak ve bu yapay zekanın nasıl kullanıldığını anlamaktır. Bir sohbet robotu benim için pek ilgi çekici olmayacak, ancak hedefleriniz üzerinde çalıştırılan kodlar üretebilen ajanlar benim için çok ilginç olabilir.
Bunu anladıktan sonra iş mantığı konularına nasıl bakıyorsam aynı şekilde ona da odaklanırım. Bir şeyin işe yaraması için geçmem gereken adımlar üzerinde çalışıyorum. Temsilciye ne söylemem gerekiyor? Daha sonra hangi aşamalardan geçecek? Bana geri dönen şey nedir? Benim yaklaşımım bu.
S: Kuruluşlar MLSecOps’un bir parçası olarak veri zehirlenmesi hakkında nasıl düşünmelidir?
Katie:
Model zehirlenmesi saldırıları biraz etik bir sorun haline geliyor. Örneğin yapay zeka sanatında, sanatçılar ve Midjourney gibi modellerin kendileri arasında büyük bir tartışma yaşandı. Sanatçılar, yapay zeka sanatı yapan bazı üretken yapay zeka şirketlerine, bu modelleri eğitmek için fikri mülkiyetlerini çaldıkları gerekçesiyle dava açıyor.
Bunun nasıl sonuçlanacağını gerçekten merak ediyorum çünkü sanatçılar bunu yapmak için araçlar yarattılar. sanat eserlerini zehirlediler. Aslında şu anda indirebileceğiniz, çiziminize uygulayabileceğiniz, modeli zehirleyecek bir araç var. Etik açıdan muhtemelen bu güvenlik sorununu çözmemek yapılacak en doğru şeydir. Model zehirlenmesi saldırıları güvenlik hatalarıdır, ancak bu hataları düzeltmememiz gerektiğine dair bir tartışma var çünkü bunları düzeltmek, potansiyel olarak bu sanatçıların geçim kaynaklarını mahvedebilir.
Yusuf:
Hata ödülü açısından bakıldığında o kadar da ilginç değil. Modeli zehirlemek uzun vadeli, derin bir saldırıdır. Bir sürü zehir verisi koymanız ve aylarca beklemeniz gerekecek. Ancak bu, kuruluş aşamalarında düşünmemiz gereken bir şey.
Temel oluşturucularda büyük dil modelleri konusunda yeterli güvenlik ve incelemenin bulunması pek olası değildir. OpenAI, Google, Meta, Antropik: Bu AI model ağırlıklarının etrafındaki güvenlik, eğitildikten sonra neredeyse yeterince güçlü değildir. Bu şirketlerin, kuruluş aşamasında veri zehirlenmesine karşı uyguladıkları güvenlik miktarını ikiye, üçe katlaması gerekiyor.
S: Yüksek Lisans için OWASP İlk 10 hakkında ne düşünüyorsunuz?
Katie:
Şu anda insanlar Yüksek Lisans’ı çok hızlı bir şekilde benimsiyorlar ve herhangi bir teknolojiyi gerçekten hızlı bir şekilde benimsediğinizde, güvenlik ile onu hayata geçirme arasında küçük bir ödünleşim olacak.
Yüksek Lisanslar harikadır ancak hepsi yapay zeka değildir. Bu yüzden insanlara sadece Yüksek Lisans’ları değil, diğer yapay zeka türlerini de düşünmelerini tavsiye etmek istiyorum.
Yusuf:
Bu güvenlik açıklarını sınıflandırmak gerçekten zordur çünkü çok fazla nüans vardır ve bunlar diğer hatalar kadar tutarlı değildir. Ancak LLM’ler için OWASP İlk 10, başlamak için harika bir yerdir. Sektör olarak büyüyeceğiz ve belki gelecek yıl yeniden sınıflandıracağız, ancak eğer insanlar araştırmalarına başlamak için farklı saldırı türlerini merak ediyorsa bu iyi bir başlangıç noktasıdır.
İleriye Bakış
S: MLSecOps ve AISecOps ortaya çıkıyor mu?
Yusuf:
Şirketim için yapay zeka geliştirme yapan bir mühendis olarak AppOmni, MLSecOps ve AISecOps %100 gerçekleşiyor. Bunları prodüksiyona dönüştürmek oldukça zor ve patlama yapacaklarını da düşünüyorum.
Ancak MLSecOps veya AISecOps’un birkaç yıldan fazla dayanacağını düşünmüyorum. Bir geliştirici veya yazılım mühendisiyseniz, bunun nasıl çalıştığını anlamalısınız. Bu, bilgisayar korsanlarının üstesinden gelebileceği bir dalga olacak ve insanların bunu araştırıp öğrenmesi gerekiyor çünkü bu, her şirket için son derece uygulanabilir olacak. Ancak üç ya da beş yıl içinde her iyi mühendis, Yüksek Lisans teknolojisini ve diğer üretken yapay zeka teknolojilerini nasıl kullanacağını ve uygulayacağını bilmek zorunda kalacak.
S: Yapay zeka sistemleri, insan müdahalesi olmadan kendi güvenlik protokollerini özerk bir şekilde geliştirip uygulayabilecek mi?
Katie:
Sanırım hala bunun oldukça uzağındayız, ancak geliştiricilerin kopyalayıp yapıştırmaları için kod verecek bir yapay zeka modeli edinmelerinden o kadar da uzakta değiliz. Bu, “Lütfen bana güvenli bir şekilde yazın” diyebilmenin başlangıcı. kod.” Henüz o seviyede değiliz ama bunun mümkün olabileceğini düşünüyor muyum? Evet. İnsanlar yapay zekanın güvenli kodu geliştirmesinden gerçekten heyecan duyuyor.
S: Bilgisayar korsanlarının gelecek için neyi öğrenmesi gerekiyor?
Katie:
Bir modeli dağıtıma nasıl çıkaracağımızın operasyon tarafını gerçekten öğrenmeye başlıyorum. Bir veya iki yıl içinde bu konudan bahsedeceğiz: Üretken yapay zekanın nasıl başlayacağına ilişkin altyapı.
Benim için modeli anlamak, nasıl denetlendiğini ve nasıl ölçeklendiğini anlamak saldırıların gerçek hedefleri olacak. Çoğu yazılım akademisyenler tarafından yazılıyor ve üretimde kullanılmasını istemediler, dolayısıyla geliştirirken güvenliğe önem vermediler. HackerOne’dan çok para kazanacağım yer burası.
Yapay Zeka Güvenliği ve Güvenliği Programınızı HackerOne Yapay Zeka Kırmızı Takım Oluşturma ile Tamamlayın
Yapay zeka kırmızı ekibinin kuruluşunuzun özel ihtiyaçlarını ve hedeflerini karşılayacak şekilde nasıl özelleştirilebileceğini daha iyi anlamak için bugün HackerOne’daki uzmanlarımızla iletişime geçin.