Pentester’ların Yapay Zekayı Hacklemesi Gerekiyor, Ama Aynı Zamanda Varlığını da Sorgulaması Gerekiyor



Samsung, ChatGPT’nin bazı kullanımlarını yasakladı, Ford Motor ve Volkswagen sürücüsüz otomobil firmalarını kapattı ve daha güçlü AI sistemlerinin eğitimine ara verilmesini isteyen bir mektup 25.000’den fazla imza topladı.

Aşırı tepkiler? Hayır, diyor dijital kimlik ve güvenlik çözümleri yaratan bir girişim olan Inrupt’ta güven ve dijital etikten sorumlu başkan yardımcısı Davi Ottenheimer. Sadece güvenlik için değil, aynı zamanda makine öğrenimi ve yapay zeka modellerinin güvenliği için de daha iyi test yaklaşımları geliştirmek için bir duraklama gerekiyor. Bunlar arasında ChatGPT, kendi kendine giden araçlar ve otonom dronlar bulunur.

RSA Konferansı’nda konuyla ilgili bir sunum yapacak olan Ottenheimer, sürekli bir güvenlik araştırmacısı ve teknoloji uzmanı akışı, AI sistemlerine yerleştirilen korumaları atlatmanın yollarını zaten buldu, ancak toplumun güvenliğin nasıl test edileceği ve iyileştirileceği konusunda daha geniş tartışmalara ihtiyacı olduğunu söylüyor. haftaya San Francisco’da.

“Özellikle bir pentest bağlamında, içeri girip temel olarak değerlendirmem gerekiyor. [an AI system] güvenlik için ama eksik olan şey, güvenli olup olmadığına, uygulamanın kabul edilebilir olup olmadığına karar vermiyor olmamız” diyor. Örneğin bir sunucunun güvenliği, sistemin güvenli olup olmadığından bahsetmez “eğer siz sunucuyu kabul edilemez bir şekilde çalıştırıyoruz… ve yapay zeka ile bu seviyeye gelmemiz gerekiyor.”

Kasım ayında ChatGPT’nin kullanıma sunulmasıyla birlikte, veri bilimi alanındaki uygulamalar nedeniyle halihazırda artan yapay zeka ve makine öğrenimine ilgi arttı. Büyük dil modelinin (LLM) görünüşte insan dilini anlama ve tutarlı yanıtları sentezleme konusundaki ürkütücü yetenekleri, teknolojiye ve diğer yapay zeka biçimlerine dayanan önerilen uygulamalarda bir artışa yol açtı. ChatGPT, güvenlik olaylarını öncelik sırasına koymak için zaten kullanılıyor ve daha gelişmiş bir LLM, Microsoft’un Güvenlik Yardımcı Pilotunun çekirdeğini oluşturuyor.

Yine de üretken önceden eğitilmiş transformatör (GPT), yapay zeka modelinin yalnızca bir biçimidir ve hepsinin önyargı, yanlış pozitifler ve diğer sorunlarla ilgili önemli sorunları olabilir.

Robotları Sömürmek Kolay

Inrupt’tan Ottenheimer, Pentesting AI: How to Hunt a Robot adlı RSA Konferansı sunumunda, bu eksiklikler ve AI modellerindeki genel bir açıklanabilirlik eksikliği, herhangi bir modele yaratıcıların hayal bile edemeyeceği şekillerde saldırılabileceği anlamına geliyor, diyecek. AI modelleri, yeterli çalışma yapılmadan hızla benimsenirse, saldırıya uğrayabilecekleri veya muhteşem bir şekilde başarısız olabilecekleri kritik uygulamaya girebilirler, diyor.

Ottenheimer, “Aslında onları başarısızlığa uğratmak çok kolay,” diyor. “Çoğu insan buna ‘Bu alanda kandırabilir miyim?’ ama yapman gereken tartışma bu değil, çünkü – aman tanrım – bu teknolojiyi tamamen uygunsuz bir şekilde kullanıyorsun.”

Son araştırmalar, yapay zekaya saldırmanın ne kadar basit olabileceğini gösteriyor. Allen Institute for AI, Georgia Institute of Technology ve Princeton Üniversitesi’nden bir araştırma ekibine göre, ChatGPT’den belirli kişileri taklit etmesini istemek, buna bir kişi atamak olarak da bilinir, AI modelinin korkuluklarını aşmasına neden olabilir. Ekip, 11 Nisan’da yayınlanan bir makalede, araştırmacıların ChatGPT’ye çeşitli kişilikler varsaydığını ve hatta “kötü bir insan” gibi genel bir kişiliğin bile toksik dil kullanan büyük dil modeline yol açabileceğini belirtti.

Halihazırda ChatGPT kullanılarak gönderilen çok sayıda ürünle, araştırmacılar bunun beklenmedik bir şekilde zararlı davranışlara yol açabileceği konusunda uyarıyorlar.

Araştırmacılar makalelerinde, “Bulgularımızın, daha geniş AI topluluğuna mevcut güvenlik korkuluklarının etkinliğini yeniden düşünmesi ve sağlam, güvenli ve güvenilir AI sistemlerine yol açan daha iyi teknikler geliştirmesi için ilham vermesini umuyoruz.”

Teknolojiyi Kapatma ve Sıfırlama Yapma Zamanı

Ottenheimer, AI testlerini geleneksel CIA üçlüsüne göre altı kategoriye ayırır: Gizlilik, bütünlük ve kullanılabilirlik. Örneğin yanlış pozitifler, kayakçıların Apple saatleri yokuş aşağı sarsıcı koşular nedeniyle 9-1-1’i çevirdiği için aşırı yüklenen acil durum müdahale ekipleri gibi toplum için önemli maliyetlere yol açabilir. ChatGPT’nin içerik korumalarını kırmak için karakterlerin kullanılmasına ilişkin akademik araştırma, kullanıcıların güvenlik önlemlerini atlamasına izin veren bir DAN (Şimdi Her Şeyi Yap) karakteri yaratan diğer araştırmalara benzer.

Şirketlerin ve araştırmacıların, zehirli girdileri ortadan kaldırmak için bu tür sistemleri donanımdan sıfırlamanın yollarını bulmaları, ancak aynı zamanda yapay zekaya gelecekte bu tür eylemleri gerçekleştirmeyi öğretmeleri gerekiyor.

Ottenheimer, “Aslında, zararların bir daha olmaması için onu sıfırlamanız gerekiyor ya da zararların geri alınabileceği bir şekilde sıfırlamanız gerekiyor” diyor.

Son olarak, mahremiyete yönelik tehdit önemli bir tehdittir ve büyük dil modelleri, bu verilerin yayıncılarının izni olmadan, genellikle İnternetten kopyalanan çok geniş bir veri kümesi kullanır. İtalya, insanların verilerini korumanın ve düzeltme veya silmeye izin vermenin yollarını bulması için OpenAI’ye Nisan ayı sonuna kadar süre verdi. Avrupa Veri Koruma Kurulu (EDPB) konuyu incelemeye ve işbirliğini geliştirmeye adanmış bir görev gücü oluşturduğundan bu çabalar artabilir.



Source link