ChatGPT’nin “halüsinasyon” eğilimi, saldırganların geliştirme ortamlarına kötü amaçlı paketler yaymasına yardımcı olabileceğinden, yazılım geliştiriciler için sorun olabilir.
Güvenlik şirketi Vulcan’dan Ortal Keizman ve Yair Divinsky, ChatGPT’nin yazılım tedarik zinciri saldırıları için nasıl bir vektör haline getirilebileceğini araştırdıktan sonra risk konusunda uyardı.
“ChatGPT’nin gerçekte var olmayan URL’ler, referanslar ve hatta kod kitaplıkları ve işlevler oluşturduğunu gördük. Bu LLM (geniş dil modeli) halüsinasyonları daha önce bildirildi ve eski eğitim verilerinin sonucu olabilir” diye yazdılar.
“ChatGPT kod kitaplıkları (paketleri) üretiyorsa, saldırganlar bu halüsinasyonları yazım hatası veya maskeleme gibi tanıdık teknikler kullanmadan kötü amaçlı paketleri yaymak için kullanabilir.”
Vulcan, bu tekniklerin bilinmesine ve saptanabilir olmasına rağmen, bir saldırgan halüsinasyonun yerini alan bir paket sunarsa, kurbanın onu indirmesi ve kullanması için kandırılabileceğini söyledi.
Araştırmacılar, tekniklerine “AI paketi halüsinasyonu” adını verdiklerinde, bir saldırgan chatbot’tan bir sorunu çözmek için bir paket bulmasını isterse, yanıtlarından bazılarının yanlış bağlantılarla tamamlanan halüsinasyonlar olabileceğini söyledi.
“İşler burada tehlikeli bir hal alıyor: ChatGPT meşru bir paket deposunda yayınlanmayan paketler önerirse”, saldırganlar sanrılı adı kullanarak kötü amaçlı bir paket gönderebilir.
Araştırmacılar, “Bir dahaki sefere bir kullanıcı benzer bir soru sorduğunda, ChatGPT’den şu anda var olan kötü amaçlı paketi kullanma önerisi alabilir” diye yazdı.
Araştırmacılar, StackOverflow gibi forumlardaki popüler soruları kullanarak yaklaşımlarını test ettiler ve Python ve Node.js gibi diller hakkında ChatGPT soruları sordular.
Node.js için 201 soru, var olmayan 50’den fazla pakete atıfta bulunan 40 yanıt alırken, Python ile ilgili 227 soru, var olmayan 100’den fazla pakete atıfta bulunan yanıtlar aldı.