Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
ChatBot Tarafından Oluşturulan Sahte Yazılım Kitaplığı 35.000’den Fazla İndirildi
Rashmi Ramesh (raşmiramesh_) •
5 Nisan 2024
Üretken yapay zeka, bir şeyler uydururken bile otoriter görünme konusunda iyidir. Talihsiz avukatlar, hiç yoktan icat edilen hukuki emsallere atıfta bulunan mahkeme tutanakları sundular. Haber kaynağı CNET AI tarafından üretilen son derece hatalı kişisel finans tavsiyelerinin yayınlanmasının ardından bir düzeltme yayınladı.
Yapay zeka halüsinasyonlarının aslında iyi bir şey olduğunu düşünen bir topluluk var: Bilgisayar korsanları. Özellikle geliştiriciler tüm yazılım kitaplıklarını halüsinasyona uğratan yapay zeka araçlarını kullandıklarında. Tehdit aktörleri, ekstra kötü amaçlı işlevlerle bu kitaplıkların ortaya çıkmasını sağlayabilir.
Ayrıca bakınız: Üretken Yapay Zeka Anketi Sonuç Analizi: Google Cloud
Yapay zekanın hayal ettiği kütüphaneleri araştıran bir güvenlik araştırmacısı, geçen ayın sonlarında “huggingface-cli” olarak adlandırılan, var olmayan bir Python paketi isteyen sohbet botları bulduğunu söyledi. Lasso Security’den Bar Lanyado, ne olacağını merak ederek bu isimde boş bir paket yükledi. Sonuç? Information Security Media Group’a üç ayda 35.000’den fazla orijinal indirme yapıldığını söyledi.
ChatGPT gibi yapay zeka kodlama araçları, görevleri otomatikleştirmeye, kod mantığını anlamaya, hataları tanımlamaya ve hatta kodun kendisini yazmaya yardımcı olma konusunda programcılar arasında popülerdir. 2023 yazında GitHub programcı anketinin sonuçları, “ABD merkezli geliştiricilerin %92’sinin halihazırda hem iş içinde hem de iş dışında yapay zeka kodlama araçlarını kullandığını” ve %70’inin yapay zekanın kodlarına “önemli faydalar” sağladığını söylediğini gösteriyor . Lanyado, “Kullanıcılar çoğu zaman bu araçlardan bir kod örneği veya bir paket önerisi aldıklarında onlara güveniyorlar ve yanıtları kontrol etmeden birçok kez kopyalayıp yapıştırıyorlar” dedi.
Lanyado, Alibaba da dahil olmak üzere birçok büyük şirketin kendi depolarında sahte paketi kullandığını veya önerdiğini söyledi. Alibaba yorum talebine yanıt vermedi. Lanyado, Lasso Security’nin Alibaba da dahil olmak üzere sahte paketi kullanan tüm şirketlerle iletişime geçtiğini söyledi.
Lanyado, böyle bir şeyin olacağını tahmin ettiğini ancak benimsenme ölçeğinin ve bunun bilinen işletmelerin geliştirme ortamlarına entegrasyonunun onu şaşırttığını söyledi. “Önceki araştırmamın ardından, OpenAI ve benzer modellerin halüsinasyonlu yanıtlar sorununu çözeceğini tahmin etmiştim, ancak bu araştırma onların bunu yapmadığını açıkça ortaya koyuyor” dedi.
Önceki araştırmasını 2023 yılının ortalarında siber güvenlik şirketi Vulcan’da çalışırken gerçekleştirdi ve ilk olarak “Yapay zeka paketi halüsinasyonu” terimini tanımladı.
Bu araştırma turu için Lanyado, boş bir yazılım paketi yüklemenin yanı sıra GPT-3.5-Turbo, GPT-4, Gemini Pro veya Bard ve Coral veya Cohere modellerinden API’leri aracılığıyla halüsinasyonlu paketleri bulmalarını istedi. İki GPT modelinin ve Cohere’in yaklaşık %20 oranında halüsinasyon çıktısı ürettiğini ve Gemini’nin bunu %64,5 oranında yaptığını keşfetti.
Yine de halüsinasyonlu paketlerin tümü bilgisayar korsanları tarafından kullanılamaz. Halüsinasyon gören kütüphanelerin sayısı .Net ve G0 programlama dili yüksekti ancak Go için merkezi bir paket deposu yok. Lanyado, “Go’da aldığımız halüsinasyon paketlerini kontrol ettiğimizde, bunların çoğunun var olmayan depolara yönlendirildiğini ancak yoldaki kullanıcı adının var olduğunu veya önceden alınmış alan adlarını işaret ettiğini gördük” dedi.
Merkezi bir durum var .Net ancak halüsinasyona uğramış paketlerin birçoğu, Google ve Microsoft gibi şirketler tarafından kontrol edilen yedek öneklerle başlar; “bu, bu halüsinasyonları bulan bir saldırganın, paketleri bu yollara da yükleyemeyeceği anlamına gelir.”
Lanyado, bu testi yapmanın ne kadar kolay ve ne kadar tehlikeli olduğunu göstermek için yaptığını ancak henüz bu tekniği kötü amaçlarla kullanan bir saldırgana rastlamadığını söyledi. Belki de faaliyetlerini gizleme konusunda iyi olmuşlardır. ISMG’ye “Çok fazla ayak izi bırakmadığı için böyle bir saldırıyı tanımlamak karmaşıktır” dedi.
Lanyado, geliştiricilerin Yüksek Lisans ve açık kaynaklı yazılımları kullanırken bilgileri çapraz doğrulamasının zorunlu olduğunu söyledi.
“Bir yandan, eğer kötü amaçlı bir paket iyi bir şekilde gizlenmişse veya saldırgan bunu hileli bir şekilde gerçekleştirmişse, kötü amaçlı bir paketi tespit etmek zordur – XZ paketinde şu anda ne olduğuna bakın” dedi (bkz: Yaygın Olarak Kullanılan Linux Yardımcı Programı XZ’de Arka Kapı Bulundu ve Etkisizleştirildi).
Geliştiriciler paket deposundaki ayrıntılara bakmalıdır; yayınlanma tarihini, taahhütleri, bakımcıları, topluluğu ve kaç indirme olduğunu kontrol edin; ve şüpheli işaretleri arayın. Lanyado, “Şüpheli bir şey görürseniz indirmeden önce iki kez düşünün” dedi.