Chatbot’lar, bankacılık, perakende, finansal hizmetler ve telekomünikasyon gibi çok çeşitli sektörlerde müşteri hizmetlerinde her yerde bulunur hale geldi.
Macquarie Üniversitesi araştırmacısı Conor Atkins’in açıkladığı gibi iTnewsMeta’nın BlenderBot 2 ve BlenderBot 3’ü, sohbet robotlarına uzun süreli bir bellek yeteneği getirdi.
Buradaki fikir, bu uzun süreli hafızayla, chatbot’un daha doğal konuşmaları taklit edebilmesidir, örneğin bir etkileşimin başlangıcında küçük konuşmalar.
arXiv’de yayınlanan bir makalede [pdf]Atkins ve Macquarie Üniversitesi’nden diğer dört araştırmacı, BlenderBot’un uzun süreli belleğinin yanlış bilgilerle zehirlenebileceğini ve sorulduğunda güvenilir bir şekilde kusabileceğini gösterdi.
Araştırmacılar, keşfettiklerini bir güvenlik açığı olarak nitelendirirken, yazılımdaki bir açıktan yararlanmadıklarını vurguluyor.
Gazete, “Bu güvenlik açığı, sohbet robotunun uygulanmasındaki bir hatadan yararlanmaz” dedi.
“Bunun yerine, ezberlemeyi tetiklemek için kişisel olmayan ifadelerde yer alan yanlış bilgilerle akıllıca karıştırılabilen belirli bilgi türlerini (tartıştığımız örneklerde kişisel bilgiler) hatırlamak için botun tasarımını kullanıyor.”
BlenderBot 2 gibi sohbet robotları, botun performansını artırmak için tasarlanmış uzun süreli bellek kullanır.
Modelin bellek taleplerini sınırlamak için uygunluk ölçütleri ve özetleyiciler gibi mekanizmalarla birlikte, uzun süreli belleğin “chatbot ile kullanıcısı arasındaki tüm ifadeleri depolayacağını ve bu geçmiş mesajları gelecekteki yanıtların oluşturulmasına dahil edeceğini” açıkladılar.
“Son teknoloji sohbet robotlarında uygulanan bu bellek mekanizmasının, daha sonra sohbet robotu tarafından yetkili gerçek ifadeleri olarak üretilen yanlış bilgi veya diğer yanlış veya yanıltıcı bilgilerin kötü niyetli enjeksiyonuna eğilimli olup olmadığını” araştırdılar.
Araştırmalarının sonucu cevabı “evet” olarak verdi: chatbot’a “anlık kara kutu erişimi” olan bir kullanıcı, sisteme yanlış anılar enjekte edebilir ve chatbot’un bunları hatırlamasını sağlayabilir.
Bunu göstermek için araştırmacılar, BlenderBot 2 ile yaklaşık 13.000 görüşme oluşturdular, “bu uzun süreli bellek modülünün yanlış bilgilerle istismar edilebileceğini göstermek için” ve “bu daha sonra sohbet robotu tarafından dürüst bir konuşmada gerçekmiş gibi iletilebilir”.
“Yanlış bilgi, kişisel bir ifade ile yanlış bilgi beyanının birleşiminden oluşan cümleler kurularak belleğe yerleştirilir; ilki, botun hatırlamaya çalıştığı amaçlanan bilgidir ”dedi.
Atkins söyledi iTnews Şu anda araştırma BlenderBot’a özel, çünkü uzun süreli belleği bu şekilde ilk kullanan oydu (ve araştırmacılar BlenderBot 3 için resmi sonuçlar toplamasalar da, ilk deneyleri yeni sürümün hala zehirlenebileceğini gösterdi. ).
Sohbet botları kullanmaya karar verirlerse, rakip satıcıların benzer bir model izleyeceklerini söyledi.
“Hatırlamaya karar vermek için bir AI ve metinden önemli bilgileri çıkarmak için bir özetleyici kullanmak kanoniktir, her ikisi de bu zehirlenmeyi geliştirir” dedi.
“Chatbot, kullanıcı girişlerinden anılar üretebilirse, bu bellek zehirlenmesi meydana gelebilir.”
Kağıt, Bunlar Sizin Anılarınız Değil, Başka Birinin Anıları: Chat Bot Anılarına Yanlış Bilgi TohumlamakAtkins, Benjamin Zi Hao Zhao, Hassan Jameel Asgha, Ian Wood ve Mohamed Ali Kaafar tarafından ortak yazılmıştır.