AI Paketi Halüsinasyonu – Kötü Amaçlı Yazılım Yaymak İçin ChatGPT, Gemini'nin Kötüye Kullanılması


Araştırma, LLM'lerin var olmayan kötü amaçlı paketleri önerdiği bir teknik olan AI paket halüsinasyonunun kalıcılığını ve ölçeğini araştırıyor.

Langchain çerçevesi, daha kapsamlı soruları, programlama dillerini (Python, Node.js, Go,.NET ve Ruby) ve modelleri (GPT-3.5-Turbo, GPT-4) test ederek önceki bulguların genişletilmesine olanak sağlamıştır. , Bard ve Cohere).

Amaç, halüsinasyonların devam edip etmediğini, modeller arasında genelleşip genelleşmediğini (modeller arası halüsinasyonlar) ve tekrar tekrar ortaya çıkıp çıkmadığını (tekrarlama) değerlendirmektir.

Langchain Varsayılan İstemi
Langchain Varsayılan İstemi

2500 soru, modellere beslenen 47.803 “nasıl yapılır” sorusuna dönüştürüldü; tekrarlama ise her biri 100 kez onaylanmış halüsinasyonlarla birlikte 20 soru sorularak test edildi.

GPT 4'ün sonuçları
GPT 4'ün sonuçları

Bir çalışma, dört büyük dil modelini (LLM) (GPT-4, GPT-3.5, GEMINI ve COHERE) halüsinasyonlar (gerçekte yanlış çıktılar) oluşturmaya duyarlılık açısından karşılaştırdı.

GEMINI en fazla halüsinasyonu (%64,5) üretirken, COHERE en azını (%29,1) oluşturdu. İlginç bir şekilde, merkezi olmayan paket depoları (GO) veya ayrılmış adlandırma kuralları (.NET) gibi faktörler nedeniyle istismar potansiyeli olan halüsinasyonlar nadirdi.

İkizler Sonuçları
İkizler Sonuçları

Lasso Security'nin çalışması ayrıca GEMINI ve GPT-3.5'in en yaygın halüsinasyonlara sahip olduğunu gösterdi; bu da onların mimarilerinin daha derin bir düzeyde benzer olabileceğini gösteriyor. Bu bilgi, Yüksek Lisans'taki halüsinasyonları anlamak ve azaltmak için gereklidir.

Belge

Posta Kutunuzda Ücretsiz ThreatScan'i Çalıştırın

Trustifi'nin Gelişmiş tehdit koruması, en geniş yelpazedeki karmaşık saldırıları, kullanıcının posta kutusuna ulaşmadan önce önler. Gelişmiş Yapay Zeka Destekli E-posta Koruması ile Trustifi Ücretsiz Tehdit Taramasını deneyin.

Halüsinasyonları incelemek için birden fazla büyük dil modeli (LLM) kullanılmıştır. Bu, her modelde saçma çıktılar (halüsinasyonlu paketler) bulunarak ve ardından bu halüsinasyonları karşılaştırarak ortak noktalarının ne olduğunu görmek yoluyla yapılır.

Çoklu LLM analizleri, en yüksek örtüşmenin Gemini ile GPT-3.5 arasında, en az örtüşmenin ise Cohere ile GPT-4 arasında olduğu 215 paketi ortaya koyuyor.

Çapraz Model halüsinasyonlarının sonucu
Çapraz Model halüsinasyonlarının sonucu

Bu çapraz modeller halüsinasyon analizi, LLM'lerdeki halüsinasyon olgusuna ilişkin değerli bilgiler sunarak, potansiyel olarak bu sistemlerin iç işleyişinin daha iyi anlaşılmasına yol açmaktadır.

Geliştiricilerin bilmeden “huggingface-cli” adı verilen, var olmayan bir Python paketini indirdiği bir olgu vardı; bu durum, büyük dil modellerinin kullanıcılara mevcut paketler hakkında yanlış bilgi sağlamasına ilişkin olası bir soruna işaret ediyordu.

ChatGPT'in ekran görüntüsü
ChatGPT'in ekran görüntüsü

Daha fazla araştırma yapmak için araştırmacılar iki sahte paket yüklediler: “huggingface-cli” (boş) ve “blabladsa123” (yine boş).

Daha sonra üç ay boyunca indirme oranlarını izlediler; sahte “huggingface-cli” paketi 30.000'den fazla indirme sayısına ulaşarak “blabladsa123” kontrol paketini önemli ölçüde aştı.

Sahte ve boş paket 30.000'den fazla orijinal indirme aldı
Sahte ve boş paket 30.000'den fazla orijinal indirme aldı

Geliştiricilerin Python paketlerini keşfetmek için eksik veya yanlış bilgi kaynaklarına güvendiği olası bir güvenlik açığını öne sürüyor.

Bir paketin benimsenme oranının bir halüsinasyon (gerçek bir paket değil) olduğuna inanılıyordu ve kullanımını doğrulamak için, büyük şirketlerin GitHub depolarını araştırdılar, çünkü arama, birçok büyük şirketin depolarında pakete referanslar tespit etti.

README'de bulunan paketleri yükleme
README'de bulunan paketleri yükleme

Örneğin, Alibaba'nın araştırmasını içeren bir depo, README dosyasında bu paketin kurulumuna ilişkin talimatlar içeriyordu.

Bu bulgular, ya paketin doğru olduğunu ve bu şirketler tarafından kullanıldığını ya da var olmayan paketlere ilişkin talimatların belgelere dahil edilmesi yönünde yaygın bir olgu olduğunu göstermektedir.

Are you from SOC and DFIR Teams? – Analyse Malware Incidents & get live Access with ANY.RUN -> Start Now for Free



Source link