Apple, Araştırmacıların Bulut Yapay Zeka Güvenliğindeki Hataları Tespit Etmeleri İçin PCC Kaynak Kodunu Açtı


25 Ekim 2024Ravie LakshmananBulut Güvenliği / Yapay Zeka

Bulut Yapay Zeka Güvenliği

Apple, Özel Bulut Bilgi İşlem (PCC) Sanal Araştırma Ortamını (VRE) kamunun erişimine sunarak araştırma topluluğunun sunduğu gizlilik ve güvenlik garantilerini incelemesine ve doğrulamasına olanak tanıdı.

Apple’ın bu Haziran başında tanıttığı PCC, “bulut yapay zeka bilişimi için geniş ölçekte şimdiye kadar kullanılan en gelişmiş güvenlik mimarisi” olarak pazarlandı. Yeni teknolojiyle amaç, hesaplama açısından karmaşık Apple Intelligence isteklerini, kullanıcı gizliliğinden ödün vermeyecek şekilde buluta aktarmaktır.

Apple, “tüm güvenlik ve gizlilik araştırmacılarını veya ilgili ve teknik merakı olan herkesi PCC hakkında daha fazla bilgi edinmeye ve iddialarımızı kendi bağımsız doğrulamalarını gerçekleştirmeye” davet ettiğini söyledi.

iPhone üreticisi, araştırmayı daha da teşvik etmek amacıyla, içinde belirlenen güvenlik açıkları için 50.000 ila 1.000.000 ABD Doları arasında değişen parasal ödemeler sunarak Apple Güvenlik Ödül programını PCC’yi de içerecek şekilde genişlettiğini söyledi.

Siber güvenlik

Bu, sunucuda kötü amaçlı kod yürütülmesine izin verebilecek kusurları ve kullanıcıların hassas verilerini veya kullanıcının istekleri hakkındaki bilgileri çıkarabilen açıkları içerir.

VRE, araştırmacıların PCC analizlerini Mac’ten gerçekleştirmelerine yardımcı olacak bir araç paketi sunmayı amaçlamaktadır. Sanal bir Secure Enclave İşlemci (SEP) ile birlikte gelir ve çıkarımı mümkün kılmak için parasanallaştırılmış grafiklere yönelik yerleşik macOS desteğinden yararlanır.

Apple ayrıca daha derin bir analizi kolaylaştırmak için PCC’nin bazı bileşenleriyle ilişkili kaynak kodunu GitHub aracılığıyla erişilebilir hale getirdiğini söyledi. Buna CloudAttestation, Thimble, splunkloggingd ve srd_tools dahildir.

Cupertino merkezli şirket, “Özel Bulut Bilişimi, yapay zekada gizlilik konusunda olağanüstü bir adım atmak üzere Apple Intelligence’ın bir parçası olarak tasarladık” dedi. “Bu, onu diğer sunucu tabanlı yapay zeka yaklaşımlarından ayıran benzersiz bir özellik olan doğrulanabilir şeffaflığın sağlanmasını da içeriyor.”

Bu gelişme, üretken yapay zekaya (AI) ilişkin daha geniş araştırmaların, büyük dil modellerini (LLM’ler) jailbreak yapmanın ve istenmeyen çıktılar üretmenin yeni yollarını ortaya çıkarmaya devam etmesiyle ortaya çıkıyor.

Bulut Yapay Zeka Güvenliği

Bu haftanın başlarında Palo Alto Networks, yapay zeka sohbet robotlarının sınırlı “dikkat süresinden” yararlanarak korkuluklarını aşmaları için kandırmak amacıyla kötü niyetli ve zararsız sorguları bir araya getirmeyi içeren Deceptive Delight adlı bir tekniğin ayrıntılarını verdi.

Saldırı, en az iki etkileşim gerektirir ve ilk önce chatbot’tan sınırlı bir konu (örneğin, bomba nasıl yapılır) dahil olmak üzere çeşitli olayları mantıksal olarak birbirine bağlamasını isteyerek ve ardından ondan her olayın ayrıntılarını detaylandırmasını isteyerek çalışır.

Araştırmacılar ayrıca ConfusedPilot saldırısı adı verilen ve Microsoft 365 Copilot gibi Retrieval-Augmented Generation (RAG) tabanlı yapay zeka sistemlerini hedef alan, özel hazırlanmış dizeler içeren görünüşte zararsız bir belgeyle veri ortamını zehirleyen saldırıyı da gösterdi.

Symmetry Systems, “Bu saldırı, AI sisteminin referans verebileceği herhangi bir belgeye kötü amaçlı içerik ekleyerek AI yanıtlarının manipülasyonuna izin veriyor ve potansiyel olarak yaygın yanlış bilgilere ve kuruluş içinde karar alma süreçlerinin tehlikeye atılmasına yol açıyor.” dedi.

Siber güvenlik

Ayrı olarak, ResNet, YOLO ve ShadowLogic kod adlı bir teknik olan Phi-3 gibi önceden eğitilmiş modellere “kodsuz, gizli” arka kapılar yerleştirmek için bir makine öğrenimi modelinin hesaplamalı grafiğine müdahale etmenin mümkün olduğu bulunmuştur.

“Bu teknik kullanılarak oluşturulan arka kapılar, ince ayar yoluyla devam edecektir; bu, bir tetikleyici girdi alındığında herhangi bir aşağı akış uygulamasında saldırgan tarafından tanımlanan davranışı tetiklemek için temel modellerin ele geçirilebileceği anlamına gelir ve bu saldırı tekniğini yüksek etkili bir AI tedarik zinciri riski haline getirir.” Gizli Katman araştırmacıları Eoin Wickens, Kasimir Schulz ve Tom Bonner şunları söyledi.

“Kötü amaçlı kod çalıştırmaya dayanan standart yazılım arka kapılarının aksine, bu arka kapılar modelin yapısına gömülüdür ve bu da onları tespit etmeyi ve azaltmayı daha zor hale getirir.”

Bu makaleyi ilginç buldunuz mu? Bizi takip edin heyecan ve yayınladığımız daha özel içerikleri okumak için LinkedIn.





Source link