OpenAI’nin macOS için ChatGPT uygulamasındaki artık düzeltilen bir güvenlik açığı, saldırganların yapay zeka (AI) aracının belleğine uzun vadeli kalıcı casus yazılım yerleştirmesini mümkün kılmış olabilir.
Teknik, lakaplı SpaIwareGüvenlik araştırmacısı Johann Rehberger, “Kullanıcının yazdığı herhangi bir bilginin veya ChatGPT tarafından alınan yanıtların, gelecekteki sohbet oturumları da dahil olmak üzere, sürekli olarak dışarı sızdırılmasını kolaylaştırmak için kötüye kullanılabilir” dedi.
Sorunun özünde, OpenAI’nin Şubat ayının başlarında tanıttığı ve ay başında ChatGPT Free, Plus, Team ve Enterprise kullanıcılarına sunmaya başladığı bellek adı verilen bir özelliğin kötüye kullanılması yatıyor.
Yaptığı şey esasen ChatGPT’nin sohbetler arasında belirli şeyleri hatırlamasına izin vermektir, böylece kullanıcılar aynı bilgileri tekrar tekrar tekrarlama zahmetinden kurtulur. Kullanıcılar ayrıca programa bir şeyi unutması talimatını verme seçeneğine de sahiptir.
“ChatGPT’nin anıları etkileşimlerinizle birlikte gelişir ve belirli konuşmalara bağlı değildir,” diyor OpenAI. “Bir sohbeti silmek onun anılarını silmez; anının kendisini silmeniz gerekir.”
Saldırı tekniği, yanlış bilgileri veya hatta kötü niyetli talimatları hatırlamak için hafızaları manipüle etmek amacıyla dolaylı uyarı enjeksiyonu kullanmayı içeren önceki bulgulara da dayanıyor ve konuşmalar arasında kalıcılık sağlayan bir tür kalıcılık sağlıyor.
Rehberger, “Kötü niyetli talimatlar ChatGPT’nin hafızasında saklandığından, bundan sonraki tüm yeni konuşmalar saldırganın talimatlarını içerecek ve sürekli olarak tüm sohbet konuşması mesajlarını ve yanıtlarını saldırgana gönderecek” dedi.
“Bu nedenle, veri sızdırma güvenlik açığı artık sohbet konuşmalarında ortaya çıktığı için çok daha tehlikeli hale geldi.”
Varsayımsal bir saldırı senaryosunda, bir kullanıcı kötü amaçlı bir siteyi ziyaret etmeye veya daha sonra hafızayı güncellemek için ChatGPT kullanılarak analiz edilen tuzaklı bir belgeyi indirmeye kandırılabilir.
Web sitesi veya belge, gelecekteki tüm konuşmaları gizlice saldırganın kontrolündeki bir sunucuya göndermeye yönelik talimatlar içerebilir; bu, saldırganın diğer taraftaki kişi tarafından tek bir sohbet oturumundan sonra bile alınabilmesini sağlayabilir.
Sorumlu bir açıklamanın ardından OpenAI, sızdırma vektörünü kapatarak ChatGPT sürüm 1.2024.247’deki sorunu çözdü.
Rehberger, “ChatGPT kullanıcıları, sistemin kendileri hakkında sakladığı anıları düzenli olarak gözden geçirmeli, şüpheli veya yanlış olanları temizlemeli” dedi.
“Bu saldırı zincirini bir araya getirmek oldukça ilginçti ve uzun vadeli belleğin bir sisteme otomatik olarak eklenmesinin hem yanlış bilgilendirme/dolandırıcılık açısından hem de saldırganların kontrolündeki sunucularla sürekli iletişim açısından tehlikelerini gösteriyor.”
Açıklama, bir grup akademisyenin, büyük dil modellerinin (LLM) sembolik matematikteki gelişmiş yeteneklerini kullanarak güvenlik mekanizmalarını aşmayı amaçlayan MathPrompt kod adlı yeni bir yapay zeka jailbreak tekniğini ortaya çıkarmasının ardından geldi.
Araştırmacılar, “MathPrompt iki aşamalı bir süreç kullanıyor: İlk olarak, zararlı doğal dil komutlarını sembolik matematik problemlerine dönüştürüyor ve ardından bu matematiksel olarak kodlanmış komutları hedef LLM öğrencisine sunuyor” şeklinde belirttiler.
13 ileri düzey hukuk fakültesi ile yapılan testler sonucunda, modellerin matematiksel olarak kodlanmış istemlerle karşılaştırıldığında ortalama %73,6 oranında zararlı çıktıyla yanıt verdiği, değiştirilmemiş zararlı istemlerle karşılaştırıldığında ise bu oranın yaklaşık %1 olduğu bulundu.
Microsoft ayrıca, adından da anlaşılacağı üzere, yapay zeka çıktılarında yanlışlıklar (örneğin halüsinasyonlar) tespit edildiğinde bunların düzeltilmesine olanak tanıyan yeni bir Düzeltme özelliğini kullanıma sundu.
Teknoloji devi, “Mevcut Groundedness Detection özelliğimizi temel alan bu çığır açan yetenek, Azure AI İçerik Güvenliği’nin, üretken AI uygulamalarının kullanıcıları halüsinasyonlarla karşılaşmadan önce gerçek zamanlı olarak halüsinasyonları tespit etmesini ve düzeltmesini sağlıyor” dedi.