Sorun, saldırganların ChatGPT’nin özellikle var olmayan kod paketleri biçimindeki yanlış bilgiler üretme eğiliminden yararlanmasına olanak tanıyor.
Yakın zamanda yapılan bir çalışmada, siber güvenlik araştırmacıları, popüler bir üretken yapay zeka (AI) platformu olan ChatGPT’de endişe verici bir güvenlik açığı keşfettiler. Kusur/sorun, saldırganların ChatGPT’nin özellikle var olmayan kod paketleri biçiminde yanlış bilgi üretme eğiliminden faydalanmasına olanak tanır.
Tehdit aktörleri, araştırmacıların “AI paketi halüsinasyonları” olarak adlandırdıkları şeyi kullanarak, geliştiricilerin yanlışlıkla indirebileceği ve yasal uygulamalarına ve kod havuzlarına entegre edebileceği kötü amaçlı kod paketleri oluşturabilir ve dağıtabilir.
Vulcan Cyber’in Voyager18 araştırma ekibinden araştırmacılar, bulgularını 6 Haziran 2023’te yayınlanan bir blog gönderisinde ayrıntılı olarak açıkladılar. Kötü amaçlı kod ve Truva atları gibi yaygın olarak kullanılan uygulamalara ve havuzlara kolayca girebilecekleri için yazılım tedarik zincirine yönelik risklerin altını çizdiler. npm, PyPI, GitHub ve diğerleri olarak.
Sorunun temel nedeni, ChatGPT’nin güncelliğini yitirmiş ve muhtemelen hatalı eğitim verilerine güvenmesidir. Büyük bir dil modeli (LLM) olarak ChatGPT, makul ancak hayali bilgiler üretme yeteneğine sahiptir. AI halüsinasyonu olarak bilinen bu fenomen, model eğitim verilerinin ötesinde tahminler yaptığında ortaya çıkar ve makul görünen ancak doğru olmayabilecek yanıtlara yol açar.
Saldırı tekniği, daha sonra kod paketleri için öneriler sağlayan ChatGPT’ye kodlamayla ilgili sorular yöneltmeyi içerir. Saldırganlar, platformun yayınlanmamış veya var olmayan paketleri önerme eğiliminden yararlanır. Daha sonra, ChatGPT’nin şüphelenmeyen geliştiricilere önermesini bekleyerek bu paketlerin kötü amaçlı sürümlerini oluşturabilirler. Sonuç olarak, geliştiriciler bilmeden bu kötü amaçlı paketleri yükleyebilir ve böylece yazılım tedarik zincirlerine önemli riskler getirebilir.
Araştırmacılar, sorunun ciddiyetini göstermek için ChatGPT 3.5 kullanarak bir kavram kanıtı simülasyonu gerçekleştirdi. Platformla sohbet ederek bir kodlama problemini çözmek için bir paket istediler. ChatGPT, bazıları mevcut olmayan birden fazla paket önerisiyle yanıt verdi.
Araştırmacılar daha sonra var olmayan önerinin yerine kötü amaçlı paketlerini yayınlamaya devam ettiler. Daha sonra, başka bir kullanıcı benzer bir soru sorduğunda, ChatGPT yeni oluşturulan kötü amaçlı paketi önererek kurulumuna ve olası zarar görmesine neden oldu.
Araştırma ekibi ayrıca, geliştiricilerin bu riskleri nasıl belirleyip azaltabilecekleri konusunda önerilerde bulundu. Oluşturma tarihleri, indirme numaraları, yorumlar, yıldızlar ve ilgili notlar gibi faktörleri inceleyerek indirdikleri paketleri doğrulamayı tavsiye ettiler.
Geliştiricilerin, özellikle topluluk içindeki güvenilir kaynaklar yerine AI platformlarından öneriler geldiğinde dikkatli olmaları isteniyor.
Bu keşif, ChatGPT ile ilişkili bir dizi güvenlik riskine katkıda bulunur. Platform geniş çapta benimsendikçe, tehdit aktörleri çeşitli kötü amaçlı faaliyetler için yeteneklerini kullanma fırsatını yakaladı. Kötü amaçlı yazılım saldırılarından, kimlik avı kampanyalarından ve kimlik bilgisi hırsızlığından; ChatGPT gibi üretici yapay zeka platformlarının yükselişi hem meşru kullanıcıları hem de kötü niyetli aktörleri cezbetti.
İLGİLİ MAKALELER
- ARMO, Kubernet’lerin güvenliğini sağlamak için ChatGPT’yi entegre eder
- OpenAI ChatGPT Bug Bounty – 200 ila 20.000 Dolar kazanın
- Sahte ChatGPT Uzantısı Facebook Hesaplarını Ele Geçirdi
- DarkBERT AI: Siber Güvenliği Dark Web’e Getirmek
- ChatGPT ile oluşturulan polimorfik Blackmamba kötü amaçlı yazılımı