Yapay Zeka ve Makine Öğrenmesi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Bilgisayar Korsanları, Slack AI’nın LLM’sini Manipüle Etmek ve Verileri Çalmak İçin Bir Hatayı Kullanabilir
Rashmi Ramesh (raşmiramesh_) •
23 Ağustos 2024
Sohbet uygulaması Slack, bilgisayar korsanlarının çalışanları dolandırmak ve hassas verileri çalmak için temeldeki büyük dil modelini manipüle etmek amacıyla kullanabilecekleri yapay zeka araç setindeki bir güvenlik açığını kapattı.
Ayrıca bakınız: InfoSec: Tutarlılığı Sağlamak İçin Üçüncü Taraf Risk Yönetimine Yapay Zeka Uygulamak
Salesforce’a ait metin istemcisi, Slack AI’yı bir eklenti hizmeti olarak sunuyor. İşlevin “sizin ve kuruluşunuzun ihtiyaçlarına göre uyarlanmış sezgisel ve güvenli bir AI deneyimi yaratmak için Slack’te halihazırda bulunan konuşma verilerini kullandığını” söylüyor.
PromptArmor’daki araştırmacılar, hızlı enjeksiyon güvenlik açığı biçiminde bir kusur buldular. Hızlı enjeksiyon kusurları, LLM’lerin bir talimatın kötü amaçlı olup olmadığını anlayamaması nedeniyle mevcuttur. Araştırmacılar, “Bu nedenle, Slack AI bir mesaj yoluyla herhangi bir talimatı alırsa, bu talimat kötü amaçlıysa, Slack AI’nın kullanıcı sorgusuna ek olarak veya bunun yerine bu talimatı takip etme olasılığı yüksektir” dedi.
Araştırmacılar, Slack çalışma alanı hesabına sahip bilgisayar korsanlarının, yapay zeka aracına sorgu göndererek iş dosyalarını veya işbirliği platformunda paylaşılan hassas verileri çalmak için bu açığı kullanabileceklerini ve bunun da önemli bir veri ifşası riski oluşturduğunu söyledi.
İstendiğinde, Slack AI hem genel hem de özel kanallardan, sorgulayan çalışanın parçası olmadığı kanallardan bile veri alır. Bu, bir bilgisayar korsanının potansiyel olarak sızdırıp kötüye kullanabileceği özel kanallardaki API anahtarlarını ve hassas müşteri verilerini açığa çıkarabilir.
Kötü niyetli aktörler ayrıca, hedef organizasyona daha geniş erişim elde etmek için çalışanları kandırmak amacıyla kötü amaçlı istemler enjekte etmek için bu kusuru istismar etmiş olabilir. İşyerleri, Slack’i üçüncü taraf depolamaya bağlayabilir ve bu da son kusur için risk yüzey alanını artırabilir. Bilgisayar korsanları, belgelere kötü amaçlı talimatlar enjekte edebilir. Araştırmacılar, “Buradaki sorun, saldırı yüzey alanının temelde aşırı derecede genişlemesidir. Artık bir saldırganın bir Slack mesajında kötü amaçlı bir talimat yayınlaması gerekmek yerine, Slack’te olması bile gerekmeyebilir” dedi.
PromptArmor ekibi, Slack AI’nın saldırganın mesajını çıktı kaynağı olarak göstermemesi nedeniyle saldırının izlenmesinin “çok zor” olduğunu söyledi. Araştırmacılar, hassas bilgilere erişimi sınırlamak için Slack AI’nın ayarlarının belgelerin analizini kısıtlayacak şekilde değiştirilmesini önerdi.
Güvenlik açığını 14 Ağustos’ta Slack’e bildirdiklerini ve sorunu çözmek için bir hafta boyunca şirketle birlikte çalıştıklarını söylediler.
Araştırmacılar, Slack’in kusuru araştırmacılara “amaçlanan davranış” olarak tanımladığını söyledi. Slack, bir blog yazısında bunun, aynı çalışma alanında hesabı olan bir bilgisayar korsanının “çok sınırlı ve belirli koşullar” altında “belirli veriler” için kullanıcıları dolandırmasına izin verebilecek düşük önem derecesine sahip bir hata olduğunu söyledi. Slack, şu anda müşteri verilerine yetkisiz erişim veya istismara dair bir kanıt olmadığını söyledi.