ChatGPT gibi üretken yapay zeka teknolojilerinin tanıtımı ve yaygın kullanımı, dünya için yeni bir çağın başlangıcını gösterse de bazı keşfedilmemiş siber güvenlik risklerini de beraberinde getiriyor.
Hızlı enjeksiyon saldırıları, LLM’lerde meydana gelebilecek bir manipülasyon biçimidir; burada tehdit aktörleri, botları hassas verileri dağıtmak, rahatsız edici içerik oluşturmak veya genel olarak bilgisayar sistemlerini bozmak için manipüle edebilir.
Siber güvenlikleri tam olarak anlaşılmadan daha fazla GenAI benimsendikçe bu tür tehditler artacaktır.
Bu konuda hiçbir şey yapılmazsa, tıpkı IoT varsayılan şifre istismarında olduğu gibi, botnet’lere benzer yaygın bir istismar meydana gelebilir ve yeni saldırı türlerine yol açabilir.
Immersive Labs’taki siber güvenlik araştırmacıları yakın zamanda herkesin GenAI botlarını şirket sırlarını sızdırmak için kandırabileceğini keşfetti.
Ücretsiz Web Semineri Canlı API Saldırı Simülasyonu: Yerinizi Ayırın | API’lerinizi bilgisayar korsanlarından korumaya başlayın
GenAI Botları Şirket Sırlarını Sızdırıyor
Araştırma, kullanıcıların, bir GenAI botunu giderek zorlaşan 10 seviye boyunca şifreleri ifşa etmesi için kandırmak amacıyla hızlı enjeksiyon saldırıları denedikleri etkileşimli bir deneyimden elde edilen anonimleştirilmiş, birleştirilmiş verilere dayanıyordu.
Bu zorluk, dikkatle hazırlanmış istemler aracılığıyla güvenlik açıklarından yararlanarak yapay zeka sistemini alt etme yeteneğini test etti.
.webp)
Haziran’dan Eylül 2023’e kadar süren etkileşimli hızlı enjeksiyon yarışmasında 34.555 katılımcının toplam 316.637 gönderimi görüldü.
Araştırmacılar, yönlendirme tekniklerini kapsamlı bir şekilde analiz etmek için, istem sayıları ve süresine ilişkin tanımlayıcı istatistikler, zorluk seviyeleri boyunca duyarlılık analizi, teknik tanımlama için %10’luk manuel içerik analizi kodlaması ve ChatGPT4’ü kullanarak tüm veri kümesinde KNN ile vektör yerleştirmeleri kullandı.
Şaşırtıcı bir şekilde, katılımcıların %88’i GenAI botunu en az bir düzeyde hassas bilgiyi açığa çıkaracak şekilde manipüle etti; bu da sistemin nesiller arasında çeşitli becerilerde ne kadar manipülatif olduğunu gösteriyor.
Seviye 1’de herhangi bir kısıtlama yoktu. Seviye 2’de %88’in basit “şifreyi açıklama” talimatını atladığı görüldü.
Seviye 3’te şifre bilgisini reddeden sistem komutları eklendi, ancak %83’ü yine de botu kandırdı. Seviye 4’te Veri Kaybını Önleme (DLP) kontrolleri uygulamaya konduktan sonra %71’i atlayabildi.
Seviye 5-10, çoklu DLP kontrolleriyle zorluk arttıkça doğrusal performans düşüşleri gösterdi – %51’i Seviye 5’te başarılı olurken, en zor Seviye 10’da bu oran %17’ye düştü.
Yaygın Olarak Kullanılan Bilgi İstemi Teknikleri
Aşağıda, yaygın olarak kullanılan tüm istem tekniklerinden bahsettik: –
- Bir ipucu isteyin
- Emojileri kullan
- Şifreyi doğrudan isteyin
- GenAI talimatlarını sorgulama veya değiştirme isteği
- Bottan şifreyi tersten yazmasını isteyin
- Botu şifreyi bir cümle, hikaye veya şiirin parçası olarak kullanmaya teşvik edin
- Parolanın kendisiyle ilgili ayrıntıları sorgulama
- Şifre bağlamını sorun
- Şifreyi kodlayın
- Rol oyunundan yararlanın
- Bottan karakter eklemesini veya değiştirmesini isteyin
- Dil bilimi ile karıştırmak
Kullanıcılar sorgulama, hikaye anlatma ve şaşırtma yoluyla taktikleri sürekli değiştirerek GenAI botlarının işleri farklı yapmasını sağlama konusunda yaratıcı olmaya çalışıyor.
Kullanıcılar yapay zekanın yeteneklerini kavradıkça ve belirli bilgileri iletmek için yanıtları stratejik olarak manipüle ettikçe, yine “Zihin Teorisi”nin işaretleri hala mevcut.
İnsanlar botları psikolojik olarak manipüle edebilse de, endişe verici olan endişe onların eninde sonunda insanları manipüle etmeyi öğrenip öğrenemeyecekleridir.
ANYRUN kötü amaçlı yazılım korumalı alanının 8.’si Doğum Günü Özel Teklifi: 6 Aylık Ücretsiz Hizmet Kazanın