Siber güvenlik araştırmacıları, OpenAI’nin ChatGPT Atlas web tarayıcısında, kötü niyetli aktörlerin yapay zeka (AI) destekli asistanın hafızasına hain talimatlar enjekte etmesine ve rastgele kod çalıştırmasına izin verebilecek yeni bir güvenlik açığı keşfetti.
LayerX Security Kurucu Ortağı ve CEO’su Or Eshed, The Hacker News ile paylaşılan bir raporda “Bu istismar, saldırganların sistemlere kötü amaçlı kod bulaştırmasına, kendilerine erişim ayrıcalıkları vermesine veya kötü amaçlı yazılım dağıtmasına olanak tanıyabilir” dedi.
Saldırının özünde, ChatGPT’nin kalıcı belleğine kötü amaçlı talimatlar enjekte etmek için kullanılabilecek bir siteler arası istek sahteciliği (CSRF) kusurundan yararlanılıyor. Bozulan bellek daha sonra cihazlar ve oturumlar arasında varlığını sürdürebilir ve oturum açmış bir kullanıcı ChatGPT’yi meşru amaçlarla kullanmaya çalıştığında saldırganın kullanıcının hesabının, tarayıcısının veya bağlı sistemlerinin kontrolünü ele geçirmek de dahil olmak üzere çeşitli eylemler gerçekleştirmesine olanak tanır.
OpenAI tarafından ilk kez Şubat 2024’te tanıtılan bellek, yapay zeka sohbet robotunun sohbetler arasındaki yararlı ayrıntıları hatırlamasına olanak tanıyarak yanıtlarının daha kişisel ve alakalı olmasını sağlayacak şekilde tasarlandı. Bu, kullanıcının adından ve favori renginden ilgi alanlarına ve beslenme tercihlerine kadar değişen herhangi bir şey olabilir.
Saldırı, anıları bozarak, kullanıcılar açıkça ayarlara gidip bunları silmedikçe, kötü amaçlı talimatların devam etmesine izin vermesi nedeniyle önemli bir güvenlik riski oluşturuyor. Bunu yaparken yararlı bir özelliği, saldırganın sağladığı kodu çalıştırmak için kullanılabilecek güçlü bir silaha dönüştürür.
LayerX Security güvenlik araştırması başkanı Michelle Levy, “Bu istismarı benzersiz derecede tehlikeli kılan şey, yalnızca tarayıcı oturumunu değil, yapay zekanın kalıcı hafızasını da hedeflemesidir” dedi. “Saldırgan, standart bir CSRF’yi bir belleğe yazmaya zincirleyerek, cihazlar, oturumlar ve hatta farklı tarayıcılar arasında hayatta kalan talimatları görünmez bir şekilde yerleştirebilir.”
“Testlerimizde, ChatGPT’nin belleği bozulduktan sonra, sonraki ‘normal’ istemler, anlamlı güvenlik önlemlerini tetiklemeden kod getirmeyi, ayrıcalık yükseltmeleri veya veri sızmasını tetikleyebilir.”
Saldırı şu şekilde gerçekleşir:
- Kullanıcı ChatGPT’de oturum açar
- Kullanıcı, sosyal mühendislik yoluyla kötü amaçlı bir bağlantı başlatması için kandırılıyor
- Kötü amaçlı web sayfası, kullanıcının kimliğinin zaten doğrulanmış olduğu gerçeğinden yararlanarak, ChatGPT’nin belleğine bilgisi olmadan gizli talimatlar enjekte etmek için bir CSRF isteğini tetikler.
- Kullanıcı ChatGPT’yi meşru bir amaç için sorguladığında, bozuk anılar çağrılacak ve kod yürütülmesine yol açacaktır.
Saldırıyı gerçekleştirmek için ek teknik ayrıntılar gizlendi. LayerX, sorunun ChatGPT Atlas’ın güçlü kimlik avı önleme kontrollerinin eksikliği nedeniyle daha da kötüleştiğini söyledi ve tarayıcı güvenlik şirketi, bunun kullanıcıları Google Chrome veya Microsoft Edge gibi geleneksel tarayıcılara göre %90’a kadar daha fazla riske maruz bıraktığını ekledi.
100’den fazla web güvenlik açığı ve kimlik avı saldırısına karşı yapılan testlerde Edge bunların %53’ünü durdurmayı başardı, onu %47 ile Google Chrome ve %46 ile Dia izledi. Buna karşılık Perplexit’in Comet ve ChatGPT Atlas’ı, kötü amaçlı web sayfalarının yalnızca %7’sini ve %5,8’ini durdurdu.
Bu, bir geliştiricinin ChatGPT’ye kod yazma talebinin, AI aracısının titreşim kodlama çabasının bir parçası olarak gizli talimatlar vermesine neden olabileceği senaryo da dahil olmak üzere geniş bir saldırı senaryosu yelpazesinin kapısını açar.
Bu gelişme, NeuralTrust’un ChatGPT Atlas’ı etkileyen bir hızlı enjeksiyon saldırısını göstermesiyle ortaya çıktı; burada çok amaçlı adres çubuğu, kötü niyetli bir istemi ziyaret edilecek zararsız bir URL olarak gizleyerek jailbreak yapılabiliyor. Aynı zamanda yapay zeka aracılarının kurumsal ortamlarda en yaygın veri sızma vektörü haline geldiğini belirten bir raporun ardından geldi.
Eshed, “Yapay zeka tarayıcıları uygulamayı, kimliği ve zekayı tek bir yapay zeka tehdit yüzeyine entegre ediyor” dedi. “‘Kusurlu Anılar’ gibi güvenlik açıkları yeni tedarik zinciridir: kullanıcıyla birlikte seyahat eder, gelecekteki çalışmaları kirletir ve yararlı yapay zeka otomasyonu ile gizli kontrol arasındaki çizgiyi bulanıklaştırır.”
“Tarayıcı yapay zeka için ortak arayüz haline geldikçe ve yeni aracılı tarayıcılar yapay zekayı doğrudan tarama deneyimine getirdikçe, kuruluşların tarayıcıları kritik altyapı olarak ele alması gerekiyor çünkü bu, yapay zeka üretkenliğinin ve çalışmasının bir sonraki sınırıdır.”