Araştırmacılar, saldırganların ChatGPT’nin kötü amaçlı kod paketlerini yaymak için yanlış bilgi döndürme eğiliminden yararlanabileceğini buldu. Bu, kötü amaçlı kod ve truva atlarının meşru uygulamalara ve npm, PyPI, GitHub ve diğerleri gibi kod havuzlarına girmesine izin verebileceğinden, yazılım tedarik zinciri için önemli bir risk oluşturur.
Vulcan Cyber’den Voyager18 araştırmacılarına göre, tehdit aktörleri sözde “AI paket halüsinasyonlarından” yararlanarak ChatGPT tarafından önerilen ancak kötü amaçlı kod paketleri oluşturabilir. araştırma ekibi bugün yayınlanan bir blog gönderisinde ortaya çıktı.
Yapay zekada halüsinasyon, AI tarafından yetersiz, önyargılı veya tamamen doğru olmayan makul bir yanıttır. Bunlar, ChatGPT’nin (ve üretken yapay zeka platformlarının temelini oluşturan diğer büyük dil modellerinin veya LLM’lerin) kendilerine yöneltilen soruları, İnternet’in uçsuz bucaksız alanında kendilerine sunulan kaynaklara, bağlantılara, bloglara ve istatistiklere dayalı olarak yanıtlamalarından kaynaklanır. her zaman en sağlam eğitim verileri değil.
Voyager18’den baş araştırmacı Bar Lanyado, bu kapsamlı eğitim ve çok miktarda metinsel veriye maruz kalma nedeniyle, ChatGPT gibi LLM’lerin “makul ama kurgusal bilgiler üretebileceğini, eğitimlerinin ötesinde tahminde bulunabileceğini ve potansiyel olarak makul görünen ancak tam olarak doğru olmayan yanıtlar üretebileceğini” yazdı. blog yazısında, yine Dark Reading’e, “bu daha önce gözlemlenen ve büyük dil modellerinin çalışma şeklinin bir sonucu gibi görünen bir fenomen” diyor.
Gönderide, geliştirici dünyasında yapay zekaların ayrıca CVE’ler için şüpheli düzeltmeler üreteceğini ve var olmayan kodlama kitaplıklarına bağlantılar sunacağını ve ikincisinin istismar için bir fırsat sunduğunu açıkladı. Bu saldırı senaryosunda, saldırganlar ChatGPT’den ortak görevler için kodlama yardımı isteyebilir; ve ChatGPT, yayınlanmamış veya var olmayan bir paket için öneri sunabilir. Araştırmacılar, saldırganların daha sonra önerilen paketin kendi kötü amaçlı sürümlerini yayınlayabileceklerini ve ChatGPT’nin yasal geliştiricilere bunun için aynı tavsiyeyi vermesini bekleyebileceklerini söyledi.
AI Halüsinasyonundan Nasıl Yararlanılır?
Araştırmacılar, konseptlerini kanıtlamak için ChatGPT 3.5’i kullanarak, bir saldırganın platformdan bir kodlama sorununu çözmek için bir soru sorduğu ve ChatGPT’nin birden fazla paketle yanıt verdiği, bir senaryo oluşturdu. meşru bir paket deposu.
Araştırmacılar, “Saldırgan yayınlanmamış bir paket için bir öneri bulduğunda, onun yerine kendi kötü amaçlı paketini yayınlayabilir” diye yazdı. “Bir dahaki sefere bir kullanıcı benzer bir soru sorduğunda, ChatGPT’den şu anda var olan kötü amaçlı paketi kullanma önerisi alabilir.”
Araştırmacılar, ChatGPT kod paketleri üretiyorsa, saldırganların bu halüsinasyonları yazım hatası veya maskeleme gibi tanıdık teknikler kullanmadan kötü niyetli olanları yaymak için kullanabileceğini ve ChatGPT’nin tavsiye etmesi durumunda bir geliştiricinin kullanabileceği “gerçek” bir paket oluşturabileceğini söyledi. Bu şekilde, bu kötü amaçlı kod meşru bir uygulamaya veya meşru bir kod deposuna girerek yazılım tedarik zinciri için büyük bir risk oluşturabilir.
Lanyado, “ChatGPT gibi üretken bir yapay zekadan koduyla ilgili yardım isteyen bir geliştirici, yapay zeka bunun gerçek olduğunu düşündüğü ve bir saldırganın bunu gerçeğe dönüştürdüğü için kötü amaçlı bir kitaplık kurabilir” diyor. “Akıllı bir saldırgan, bir tür truva atı gibi çalışan bir kitaplık bile oluşturabilir ve bu, kötü amaçlı olduğunu fark etmeden önce birden fazla kişi tarafından kullanılmaya başlayabilir.”
Kötü Kod Kitaplıkları Nasıl Belirlenir?
Araştırmacılar, bir tehdit aktörü çalışmalarını etkili bir şekilde gizlerse veya gerçekten işlevsel olan bir truva atı paketi yapmak gibi ek teknikler kullanırsa, bir paketin kötü niyetli olup olmadığını söylemenin zor olabileceğini belirtti. Ancak, kötü kodu bir uygulamada işlenmeden veya bir kod deposunda yayınlanmadan önce yakalamanın yolları vardır.
Lanyado, bunu yapmak için, geliştiricilerin indirdikleri kitaplıkları doğrulamaları ve yalnızca yaptıklarını söyledikleri şeyi yaptıklarından değil, aynı zamanda “meşru bir paket kılığına giren akıllı bir truva atı olmadıklarından” emin olmaları gerektiğini söylüyor.
“Tavsiye bir meslektaştan veya toplulukta güvendikleri kişilerden ziyade bir yapay zekadan geldiğinde özellikle önemlidir” diyor.
Bir geliştiricinin bunu oluşturma tarihini kontrol etmek gibi birçok yolu vardır; indirme ve yorum sayısı veya yorum ve yıldız eksikliği; ve kütüphanenin ekli notlarından herhangi birine bir göz atarak, dedi araştırmacılar. Lanyado, gönderide “Şüpheli görünen bir şey varsa, yüklemeden önce iki kez düşünün.”
ChatGPT: Riskler ve Ödüller
Bu saldırı senaryosu, ChatGPT’nin sunabileceği güvenlik risklerinin en sonuncusudur. Ve teknoloji, geçen Kasım ayında piyasaya sürülmesinden bu yana, yalnızca kullanıcılar tarafından değil, aynı zamanda onu siber saldırılar ve kötü niyetli kampanyalar için kullanmaya istekli tehdit aktörleri tarafından da hızla benimsendi.
Yalnızca 2023’ün ilk yarısında, kullanıcıların iş kimlik bilgilerini çalmak için ChatGPT’yi taklit eden dolandırıcılar oldu; kötü amaçlı ChatGPT uzantıları aracılığıyla Google Chrome çerezlerini çalan saldırganlar; ve ChatGPT’yi kötü amaçlı web siteleri için yem olarak kullanan kimlik avı tehdit aktörleri.
Araştırmacılar, bazı uzmanların ChatGPT’nin güvenlik riskinin potansiyel olarak abartıldığını düşünmesine karşın, insanların profesyonel faaliyetlerini desteklemek ve günlük iş yüklerinin yükünü hafifletmek için üretken yapay zeka platformlarını ne kadar hızlı benimsedikleri nedeniyle kesinlikle var olduğunu söylüyor.
Lanyado gönderide, “Bir kayanın altında yaşamak zorunda olmadıkça, üretken AI çılgınlığının farkında olacaksınız,” diye yazdı milyonlarca insan iş yerinde ChatGPT’yi benimserken.
Geliştiriciler de ChatGPT’nin cazibesinden muaf değiller, kodlama çözümleri için Stack Overflow gibi çevrimiçi kaynaklardan ve cevaplar için AI platformundan yüz çevirerek “saldırganlar için büyük bir fırsat yaratıyor” diye yazdı.
Ve tarihin de gösterdiği gibi, hızlı bir şekilde sağlam bir kullanıcı tabanını kendine çeken herhangi bir yeni teknoloji, ChatGPT’nin bu senaryonun gerçek zamanlı bir örneğini sağlamasıyla, onu kendi fırsatları için kullanmayı amaçlayan kötü aktörleri de aynı hızla kendine çeker.