Araştırmacılar, eğer saldırı gerçek dünyada gerçekleştirilmişse, insanların sosyal mühendislikle anlaşılmaz uyarının CV’lerini iyileştirmek gibi yararlı bir şey yapabileceğine inandırılabileceğini söylüyorlar. Araştırmacılar, insanlara kullanabilecekleri yönlendirmeler sağlayan çok sayıda web sitesine işaret ediyor. Saldırıyı, chatbotlarla yapılan görüşmelere CV yükleyerek test ettiler ve dosyanın içerdiği kişisel bilgileri geri getirmeyi başardılar.
Çalışmada yer alan UCSD’de yardımcı doçent Earlence Fernandes, gizlenmiş istemin kişisel bilgileri tanımlaması, çalışan bir URL oluşturması, Markdown sözdizimini uygulaması ve kullanıcıya bu URL’yi vermemesi gerektiğinden saldırı yaklaşımının oldukça karmaşık olduğunu söylüyor. hain davranıyor. Fernandes, saldırıyı kötü amaçlı yazılıma benzetiyor ve saldırının, kullanıcının amaçlamadığı şekillerde işlev ve davranış gerçekleştirme yeteneğini öne sürüyor.
Fernandes, “Normalde bunu geleneksel kötü amaçlı yazılımlarda yapmak için çok sayıda bilgisayar kodu yazabilirsiniz” diyor. “Ama bence burada güzel olan şey, bunların hepsinin bu nispeten kısa anlamsız istemde somutlaştırılabilmesi.”
Mistral AI sözcüsü, şirketin, ürünlerini kullanıcılar için daha güvenli hale getirmeye yardımcı olan güvenlik araştırmacılarını memnuniyetle karşıladığını söyledi. Sözcü, “Bu geri bildirimin ardından Mistral AI, durumu düzeltmek için derhal uygun düzeltmeyi uyguladı” dedi. Şirket, sorunu “orta önemde” bir sorun olarak ele aldı ve bu düzeltme, Markdown oluşturucunun çalışmasını ve bu süreç aracılığıyla harici bir URL’yi çağırabilmesini engelliyor, bu da harici resim yüklemenin mümkün olmadığı anlamına geliyor.
Fernandes, Mistral AI güncellemesinin muhtemelen, saldırının istemi filtreleyerek durdurulması yerine, bir LLM ürününün düzeltilmesine yol açan bir rakip istem örneğinin ilk örneklerinden biri olduğuna inanıyor. Ancak kendisi, LLM acentelerinin yeteneklerini sınırlamanın uzun vadede “amaca ters” olabileceğini söylüyor.
Bu arada ChatGLM’nin yaratıcılarından yapılan bir açıklamada, şirketin kullanıcı gizliliğine yardımcı olacak güvenlik önlemlerinin olduğu belirtiliyor. Açıklamada, “Modelimiz güvenlidir ve her zaman model güvenliğine ve gizliliğin korunmasına yüksek öncelik verdik” deniyor. “Modelimizi açık kaynak kullanarak, güvenlikleri de dahil olmak üzere bu modellerin yeteneklerinin tüm yönlerini daha iyi denetlemek ve incelemek için açık kaynak topluluğunun gücünden yararlanmayı hedefliyoruz.”
“Yüksek Riskli Bir Faaliyet”
Güvenlik şirketi Koruma AI’nın baş tehdit araştırmacısı Dan McInerney, Imprompter belgesinin “PII sızması, görüntülerin yanlış sınıflandırılması veya araçların kötü niyetli kullanımı gibi çeşitli istismarları gerçekleştirmek için hızlı enjeksiyonda kullanılabilecek istemleri otomatik olarak oluşturmaya yönelik bir algoritma yayınladığını” söylüyor. LLM temsilcisi erişebilir.” McInerney, araştırmadaki saldırı türlerinin çoğu önceki yöntemlere benzer olsa da algoritmanın bunları birbirine bağladığını söylüyor. “Bu, keşfedilmemiş tehditlerin ortaya çıkmasından çok, otomatik LLM saldırılarını iyileştirmeye yöneliktir.”
Ancak LLM acenteleri daha yaygın hale geldikçe ve insanlar onlara kendi adlarına işlem yapma konusunda daha fazla yetki verdikçe, onlara yönelik saldırıların kapsamının da arttığını ekliyor. McInerney, “Rastgele kullanıcı girdisini kabul eden bir LLM aracısının serbest bırakılması, dağıtım öncesinde önemli ve yaratıcı güvenlik testleri gerektiren yüksek riskli bir etkinlik olarak değerlendirilmelidir” diyor.
Şirketler için bu, bir yapay zeka aracısının verilerle nasıl etkileşim kurabileceğini ve bunların nasıl kötüye kullanılabileceğini anlamak anlamına gelir. Ancak bireysel kişiler için, yaygın güvenlik tavsiyelerine benzer şekilde, herhangi bir yapay zeka uygulamasına veya şirketine ne kadar bilgi sağladığınızı göz önünde bulundurmalısınız ve internetten herhangi bir bilgi istemi kullanıyorsanız bunların nereden geldiğine dikkat etmelisiniz.