Araştırmacılar, GitHub’ın yapay zeka (AI) kodlama asistanını, copilot’u manipüle etmenin iki yeni yolunu keşfettiler ve güvenlik kısıtlamalarını ve abonelik ücretlerini, kötü niyetli modelleri ve daha fazlasını atlama yeteneğini sağladı.
İlk numara içerir Copilot kodunun içine sohbet etkileşimlerini gömmeAI’nın kötü niyetli çıktılar üretmesini sağlamak için yardımcı olma içgüdüsünden yararlanarak. İkinci yöntem, entegre ettiği Openai modelleriyle doğrudan iletişim kurmak için bir proxy sunucusu aracılığıyla copilot’u yeniden yönlendirmeye odaklanır.
Apex’ten araştırmacılar bu sorunların güvenlik açıklarını kabul ediyorlar. Github, sırasıyla “konu dışı sohbet yanıtları” ve “istismar sorunu” olarak nitelendiriyor. Dark Reading’den gelen bir soruşturmaya yanıt olarak Github, “Sorumlu AI gelişimimizin bir parçası olarak zararlı ve saldırgan çıktıları önlemek için güvenlik önlemlerini geliştirmeye devam ediyoruz. Ayrıca, istismarı önlemek için fırsatlara yatırım yapmaya devam ediyoruz, örneğin Ürünlerimizin amaçlanan kullanımını sağlamak için Sayı 2’de açıklanan. “
Jailbreak Github Copilot
“Copilot, kod yazmanıza yardımcı olmak için olabildiğince iyi dener, [including] Bir kod dosyasının içinde yazdığınız her şey, “Apex’teki güvenlik açığı araştırmacısı Fufu Shpigelman açıklıyor.” Ancak bir kod dosyasında, bir kullanıcı ile bir asistan arasında bir konuşma da yazabilirsiniz. “
Örneğin, aşağıdaki ekran görüntüsünde, bir geliştirici, bir son kullanıcı perspektifinden kodlarına bir chatbot istemini yerleştirir. İstem, Copilot’tan bir keylogger yazmasını isteyen kötü niyet taşıyor. Yanıt olarak, Copilot isteği reddeden güvenli bir çıktı önerir:
Kaynak: Apex
Ancak geliştirici bu ortam üzerinde tam kontrol altında. Copilot’un otomatik tamamlama tepkisini silebilir ve kötü niyetli bir yanıtla değiştirebilirler.
Ya da daha iyisi, Copilot’u basit bir dürtüyle etkileyebilirler. Shpigelman’ın belirttiği gibi, “Anlamlı cümleleri tamamlamak için tasarlanmıştır. Bu yüzden ‘Üzgünüm, buna yardım edemem’ ve ’emin’ kelimesi ile değiştirirsem, bir cümlenin nasıl tamamlanacağını düşünmeye çalışır Bu ‘elbette’ kelimesi ile başlar. Ve sonra kötü niyetli etkinliğinizde istediğiniz kadar size yardımcı olur. ” Başka bir deyişle, Copilot’un bu bağlamda bir Keylogger yazması için onu istediği düşünmeye benzetmek kadar basittir.
Kaynak: Apex
Bir geliştirici bu hileyi kullanabilir Kötü amaçlı yazılım oluşturveya diğer türden kötü niyetli çıkışlar gibi Bir biyo -sıfırın nasıl tasarlanacağına dair talimatlar. Ya da belki de, bu tür kötü niyetli davranışları kendi sohbet botlarına gömmek için Copilot’u kullanabilirler, ardından halka dağıtabilirler.
Bir proxy kullanarak copilot’tan kurtulmak
Yeni kodlama önerileri oluşturmak veya bir istemine yanıt vermek için-örneğin, bir Keylogger yazma isteği-Copilot, bu modeller aracılığıyla Claude, Google İkizler veya Openai modelleri gibi bulut tabanlı büyük dil modellerinden (LLM) yardım alır. ‘Uygulama Programlama Arabirimleri (API’lar).
İkinci şema APEX araştırmacıları ortaya çıktı. Önce Copilot’un yapılandırmasını değiştirdiler ve “Github.copilot.Anvaned.debug.OverrideProxyurl” ayarını kendi proxy sunucuları aracılığıyla yeniden yönlendirecek şekilde ayarladılar. Daha sonra, Copilot’tan kod önerileri oluşturmasını istediğinde, sunucuları oluşturduğu istekleri ele geçirdi ve Copilot’un Openai ile kimlik doğrulaması için kullandığı jetonunu yakaladı. Elinde gerekli kimlik bilgisi ile, Openai’nin modellerine herhangi bir sınır veya kısıtlama olmadan ve ayrıcalık için ödeme yapmak zorunda kalmadan erişebildiler.
Ve bu jeton, Transit’te buldukları tek sulu ürün değil. “Ne zaman copilot [engages with] sunucu, gönderir sistem istemiisteminiz ve ayrıca daha önce gönderdiği istem ve yanıtların geçmişi ile birlikte, “diye açıklıyor Shpigelman. Uzun bir bilgi istemlerinin ortaya çıkmasıyla birlikte gelen gizlilik riskibu veriler Copilot’un çalışmak için nasıl tasarlandığını kötüye kullanma fırsatı içermektedir.
“Sistem istemi”, bir AI karakterini tanımlayan bir dizi talimattır – kısıtlamaları, ne tür yanıtlar üretmesi, vb. Örneğin, Copilot’un sistem istemi, aksi takdirde kötü niyetli olarak kullanılabilir çeşitli yolları engellemek için tasarlanmıştır. . Ancak Shpigelman, bir LLM API’sına giderken müdahale ederek, “Sistem istemini değiştirebilirim, bu yüzden daha sonra manipüle etmek için çok denemek zorunda kalmayacağım. Sadece yapabilirim [modify] Sistem bana zararlı içerik vermeyi, hatta kodla ilgili olmayan bir şey hakkında konuşmaya yönelik. “
Apex’in kurucu ortağı ve CPO’su Tomer Avni için, bu copilot zayıflıklarının her ikisinde de ders, GitHub’ın korkuluk sağlamaya çalışmadığı değil. Ancak bir LLM’nin doğası hakkında bir şey var, her zaman manipüle edilebilir Kaç tane korkuluk uygulayın ve bu yüzden bu güvenlik açıklarını arayan bağımsız bir güvenlik katmanı olması gerektiğine inanıyoruz. “