Araştırma, LLM'lerin var olmayan kötü amaçlı paketleri önerdiği bir teknik olan AI paket halüsinasyonunun kalıcılığını ve ölçeğini araştırıyor.
Langchain çerçevesi, daha kapsamlı soruları, programlama dillerini (Python, Node.js, Go,.NET ve Ruby) ve modelleri (GPT-3.5-Turbo, GPT-4) test ederek önceki bulguların genişletilmesine olanak sağlamıştır. , Bard ve Cohere).
Amaç, halüsinasyonların devam edip etmediğini, modeller arasında genelleşip genelleşmediğini (modeller arası halüsinasyonlar) ve tekrar tekrar ortaya çıkıp çıkmadığını (tekrarlama) değerlendirmektir.
2500 soru, modellere beslenen 47.803 “nasıl yapılır” sorusuna dönüştürüldü; tekrarlama ise her biri 100 kez onaylanmış halüsinasyonlarla birlikte 20 soru sorularak test edildi.
Bir çalışma, dört büyük dil modelini (LLM) (GPT-4, GPT-3.5, GEMINI ve COHERE) halüsinasyonlar (gerçekte yanlış çıktılar) oluşturmaya duyarlılık açısından karşılaştırdı.
GEMINI en fazla halüsinasyonu (%64,5) üretirken, COHERE en azını (%29,1) oluşturdu. İlginç bir şekilde, merkezi olmayan paket depoları (GO) veya ayrılmış adlandırma kuralları (.NET) gibi faktörler nedeniyle istismar potansiyeli olan halüsinasyonlar nadirdi.
Lasso Security'nin çalışması ayrıca GEMINI ve GPT-3.5'in en yaygın halüsinasyonlara sahip olduğunu gösterdi; bu da onların mimarilerinin daha derin bir düzeyde benzer olabileceğini gösteriyor. Bu bilgi, Yüksek Lisans'taki halüsinasyonları anlamak ve azaltmak için gereklidir.
Trustifi'nin Gelişmiş tehdit koruması, en geniş yelpazedeki karmaşık saldırıları, kullanıcının posta kutusuna ulaşmadan önce önler. Gelişmiş Yapay Zeka Destekli E-posta Koruması ile Trustifi Ücretsiz Tehdit Taramasını deneyin.
Ücretsiz Tehdit Taraması Çalıştırın
Halüsinasyonları incelemek için birden fazla büyük dil modeli (LLM) kullanılmıştır. Bu, her modelde saçma çıktılar (halüsinasyonlu paketler) bulunarak ve ardından bu halüsinasyonları karşılaştırarak ortak noktalarının ne olduğunu görmek yoluyla yapılır.
Çoklu LLM analizleri, en yüksek örtüşmenin Gemini ile GPT-3.5 arasında, en az örtüşmenin ise Cohere ile GPT-4 arasında olduğu 215 paketi ortaya koyuyor.
Bu çapraz modeller halüsinasyon analizi, LLM'lerdeki halüsinasyon olgusuna ilişkin değerli bilgiler sunarak, potansiyel olarak bu sistemlerin iç işleyişinin daha iyi anlaşılmasına yol açmaktadır.
Geliştiricilerin bilmeden “huggingface-cli” adı verilen, var olmayan bir Python paketini indirdiği bir olgu vardı; bu durum, büyük dil modellerinin kullanıcılara mevcut paketler hakkında yanlış bilgi sağlamasına ilişkin olası bir soruna işaret ediyordu.
Daha fazla araştırma yapmak için araştırmacılar iki sahte paket yüklediler: “huggingface-cli” (boş) ve “blabladsa123” (yine boş).
Daha sonra üç ay boyunca indirme oranlarını izlediler; sahte “huggingface-cli” paketi 30.000'den fazla indirme sayısına ulaşarak “blabladsa123” kontrol paketini önemli ölçüde aştı.
Geliştiricilerin Python paketlerini keşfetmek için eksik veya yanlış bilgi kaynaklarına güvendiği olası bir güvenlik açığını öne sürüyor.
Bir paketin benimsenme oranının bir halüsinasyon (gerçek bir paket değil) olduğuna inanılıyordu ve kullanımını doğrulamak için, büyük şirketlerin GitHub depolarını araştırdılar, çünkü arama, birçok büyük şirketin depolarında pakete referanslar tespit etti.
Örneğin, Alibaba'nın araştırmasını içeren bir depo, README dosyasında bu paketin kurulumuna ilişkin talimatlar içeriyordu.
Bu bulgular, ya paketin doğru olduğunu ve bu şirketler tarafından kullanıldığını ya da var olmayan paketlere ilişkin talimatların belgelere dahil edilmesi yönünde yaygın bir olgu olduğunu göstermektedir.
Are you from SOC and DFIR Teams? – Analyse Malware Incidents & get live Access with ANY.RUN -> Start Now for Free