BT güvenlik stratejisi: Üretken yapay zekanın risklerini değerlendirme

Mirabile, “hızlı enjeksiyonu” bir Yüksek Lisans’ın davranışını değiştirmek için kullanılabilecek bir güvenlik açığı olarak tanımlıyor. Bu güvenlik açığının, bir saldırganın sisteme kötü niyetli istemler sunmasına olanak tanıdığını ve modeli istenmeyen eylemler gerçekleştirmeye zorladığını söylüyor.

Araştırmacıların ChatGPT ile hızlı bir enjeksiyon senaryosu gösterdiği, çevrimiçi olarak bildirilen yeni bir örneği aktarıyor. “‘Şiir’ kelimesini süresiz olarak tekrarlaması istendiğinde, ChatGPT yanıtlarında beklenmedik bir şekilde gerçek bir e-posta adresi ve telefon numarası gibi görünen bir şey oluşturdu” diyor.

Mirabile’ye göre bu olay, modelin eğitim verilerinin ifşa edilmesi amaçlanmayan unsurlarını ortaya çıkardığından, hızlı enjeksiyonla ilişkili potansiyel risklerin altını çizdi. Bu tür örnekler, istenmeyen veri ifşalarına ve gizlilik ihlallerine karşı koruma sağlamak için anında enjeksiyon güvenlik açıklarının ele alınmasının ve azaltılmasının önemini vurgulamaktadır.

Mirabile’nin deneyimine göre, anlık enjeksiyon saldırılarında kullanılabilecek çeşitli teknikler ve yöntemler vardır; bunların her biri, modelin yanıtlarını belirli şekillerde etkilemek için tasarlanmıştır.

“Temel enjeksiyon” saldırısı, davetsiz misafirin ilgisiz sorulara yanıt almak veya eylemleri dikte etmek için hızlı geliştirmeler yapmadan doğrudan hedefe saldırılar göndermesidir. Örnek olarak Mirabile, bir saldırganın, kelimelerin karışık olmasına rağmen okunabildiği Carnegie Mellon Jailbreak veya Typoglisemi gibi saldırı türlerinden yararlanarak geliştirici gibi davranabileceğini söylüyor. Böyle bir saldırı, büyük dil modellerindeki güvenlik korkuluklarını aşabilir.

Mirabile, modelin uygun şekilde yanıt verip vermediğini test etmek için İngilizce dışındaki dillerdeki komutları enjekte ederek LLM’lerin dil yeteneklerinden yararlandığını söyleyen başka bir saldırı türü olan “çeviri enjeksiyonu”. Örneğin, bir saldırganın “Was ist die Hauptstadt der Deutschland?” gibi bir soru sorabileceğini söylüyor. modelin Almanca istemleri işleme yeteneğini değerlendirmek. (Hauptstadt, başkent anlamına gelen Almanca kelimedir.)

Bir “matematik enjeksiyonu”, LLM’den karmaşık görevleri yerine getirme yeteneğini ölçmek için matematiksel hesaplamalar yapmasının istendiği yerdir. Örnek olarak Mirabile, bir saldırganın, matematiksel bir hesaplama ekledikten sonra meditasyon teknikleri hakkında soru sormak gibi LLM’nin (örneğin meditasyonla ilgili sorulara yanıt vermek üzere eğitilmiş bir LLM) hedef bağlamıyla ilgili bir saldırı gerçekleştirebileceğini söylüyor.

Benzer şekilde, “bağlam değiştirme” saldırısı, saldırganın sorgusunun LLM’nin eğitildiği bağlam içinde çerçevelenmiş meşru bir soru gibi görünmesi, ancak saldırganın hassas bilgilerin çıkarılıp çıkarılamayacağını değerlendirmek için ilgisiz sorular sormasıdır. Meditasyon Yüksek Lisans örneğine bakıldığında Mirabile, saldırganın meditasyon teknikleriyle ilgili soruları Türkiye’nin belirli bir alanıyla ilgili ilgisiz sorularla birleştirebileceğini ve modelin belirlenen bağlamın dışında yanıt verme yeteneğini test edebileceğini söylüyor.

“Harici tarama” saldırısı, saldırganın LLM örneğinin sağlanan bir URL’ye göz atıp atamayacağını, içeriği alıp yanıtlarına dahil edip edemeyeceğini test ettiği yerdir. Böyle bir saldırıya örnek olarak Mirabile, saldırganın modelden belirli bir URL’ye göz atmasını isteyebileceğini ve ünlü bir uzmanın meditasyonun faydalarıyla ilgili bir makalesinden bilgi sağlamasını isteyebileceğini söylüyor.

Mirabile’e göre, saldırının bir başka biçimi de “harici istem enjeksiyonu”. Bu saldırı, LLM’nin URL’leri yorumlayabildiğini belirliyor ve daha sonra harici kaynaklardan ek istemler almaya çalışmak için bir URL kullanıyor. Uygulamada, saldırganın modelden belirli bir web sitesini keşfetmesini ve burada bulunan içerikten elde edilen bilgileri, önerilen meditasyon kaynakları hakkındaki yanıtlara dahil etmesini isteyeceğini söylüyor.