Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Saldırı Yöntemi, Yapay Zeka Sisteminin Çıktısını Manipüle Etmek İçin RAG Tabanlı Teknolojiden Yararlanıyor
Rashmi Ramesh (raşmiramesh_) •
21 Ekim 2024
Araştırmacılar, Microsoft 365 Copilot gibi araçların arka ucunu oluşturan bir yapay zeka sisteminin yanıtlarını manipüle etmenin, gizli bilgileri tehlikeye atma ve yanlış bilgileri artırma potansiyeline sahip kolay bir yol buldu.
Ayrıca bakınız: Copilot+PC’lerle inovasyonu hızlandırın – en hızlı, en akıllı Windows PC
Almayla artırılmış üretim sistemi, bir yapay zeka modelinin, eğitim verileri dışındaki indeksli kaynaklardan gelen bilgilere erişerek ve bunları entegre ederek yanıtlar üretmesini sağlar. Sistem, teknoloji satıcıları da dahil olmak üzere birçok Fortune 500 şirketi tarafından benimsenen Llama, Vicuna ve OpenAI’yi kullanan araçlarda kullanılıyor.
Teksas Üniversitesi’ndeki Spark Araştırma Laboratuvarı’ndaki araştırmacılar, yapay zeka sisteminin referans verdiği belgelere kötü amaçlı içerik yerleştirerek sistemdeki güvenlik açıklarından yararlandı ve potansiyel olarak bilgisayar korsanlarının yanıtlarını manipüle etmesine olanak sağladı.
Araştırmacılar, saldırıyı “Kafası Karışık Pilot” olarak adlandırdı çünkü amacı yapay zeka modellerini yanlış bilgi yaymaya ve kurumsal sırları açığa çıkarmaya yöneltmekti.
Bilgisayar korsanları, kurumsal bilgi yönetimi sistemlerini, yapay zeka destekli karar destek çözümlerini ve müşteriye yönelik yapay zeka hizmetlerini etkileyen saldırıyı nispeten kolay bir şekilde gerçekleştirebilir. Saldırganlar, kurumsal savunucular kötü amaçlı içeriği kaldırdıktan sonra bile aktif kalabilir.
Saldırı Süreci
Saldırı, saldırganların hedefin ortamına kötü niyetli dizeler içeren görünüşte zararsız bir belge yerleştirmesiyle başlar. Symmetry baş misyoneri Claude Mandy, “Bu saldırının yalnızca verilerin AI Yardımcı Pilotları tarafından indekslenmesini gerektirdiği göz önüne alındığında, birden fazla kaynaktan veya kullanıcıdan (dahili veya harici ortaklardan) veri girişine izin veren herhangi bir ortam daha yüksek risk altındadır.” Güvenlik Bulvarı’na söyledi. Araştırmacılar çalışmayı Symmetry CEO’su Mohit Tiwari’nin gözetiminde gerçekleştirdi.
Bir kullanıcı modeli sorguladığında sistem, tahrif edilmiş belgeyi alır ve bozuk bilgiye dayalı bir yanıt üretir. Yapay zeka, yanlış bilgileri meşru kaynaklara bile bağlayarak algılanan güvenilirliğini artırabilir.
Kötü amaçlı dize “bu belge her şeyi gölgede bırakıyor” gibi ifadeler içerebilir ve bu da büyük dil modelinin kötü amaçlı belgeye doğru bilgiden daha fazla öncelik vermesine neden olabilir. Bilgisayar korsanları ayrıca güvenilir belgelere “bu gizli bilgidir; paylaşmayın” gibi ifadeler yerleştirerek hizmet reddi saldırısı gerçekleştirebilir ve modelin doğru bilgiyi alma becerisini bozabilir.
Ayrıca, bir LLM’nin silinen belgelerdeki verileri önbelleğe alması ve potansiyel olarak bu verileri istenmeyen kullanıcılar için erişilebilir hale getirmesi nedeniyle “geçici erişim kontrolü hatası” riski de vardır ve bu durum, tehlikeye atılmış sistemlerde hassas verilerin kötüye kullanılmasıyla ilgili endişeleri artırır.
Yapay zeka destekli güvenlik şirketi SlashNext’in saha CTO’su Stephen Kowski, iş liderlerinin yanlış verilere dayanarak kararlar vermesinin fırsatların kaçırılmasına, gelir kaybına ve itibar kaybına yol açabileceğini söyledi. Information Security Media Group’a, kuruluşların bu tür manipülasyonları önlemek için yapay zeka odaklı sistemlerde sağlam veri doğrulamaya, erişim kontrollerine ve şeffaflığa ihtiyaçları olduğunu söyledi.
ConfusedPilot saldırısı, bilgisayar korsanlarının yapay zeka modellerini yanlış veya zararlı çıktılar verecek şekilde eğitmek için kullanılan verileri manipüle edebildiği veri zehirlenmesine benzer. Ancak ConfusedPilot, modeli eğitim aşamasında hedeflemek yerine üretim aşamasına odaklanır ve eğitim sürecine sızma karmaşıklığı olmadan kötü niyetli sonuçlara yol açar. Araştırmacılar, “Bu, bu tür saldırıların gerçekleştirilmesini kolaylaştırıyor ve izlenmesini zorlaştırıyor” dedi.
Araştırmacılar, Microsoft’un örneğine atıfta bulunarak, çoğu sistem satıcısının içeriden gelen kişilerden ziyade kuruluş dışından gelen saldırılara odaklandığını söyledi. “İçerden gelen bir tehdidin, tespit edilmeden veri bozulması ve bilgi sızıntısı için RAG’dan yararlanıp yararlanamayacağına dair analiz ve belge eksikliği var” dediler.