Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Açık kaynaklı modeller, ticari olanlardan daha fazla halüsinasyon, çalışma buldu
Rashmi Ramesh (Rashmiramesh_) •
22 Nisan 2025
Üretken yapay zeka asistanları kodlamayı kolaylaştırmayı vaat ediyorlar, ancak büyük dil modellerinin var olmayan paket adlarını icat etme eğilimi, “slopsquatting” olarak bilinen yeni bir tedarik zinciri tehlikesine yol açtı, burada saldırganlar kötü niyetli kodları dağıtımlara kaydırmak için fantom bağımlılıklarını kaydetti.
Ayrıca bakınız: Cenai Risk Yönetimi için C-Suite Kılavuzu
San Antonio, Virginia Tech ve Oklahoma Üniversitesi’ndeki Texas Üniversitesi’ndeki araştırmacılardan yakın tarihli bir makale, 16 popüler kod üretim modelini iki hızlı veri kümesine maruz bıraktı ve kamu kayıtlarına karşı kontrol edilen toplam 576.000 python ve Javascript kodu örneği verdi. Yazarlar her bir istemi her modelde çalıştırdı, bağımlılık önerilerini kaydediyor ve PYPI ve NPM üzerindeki varlıklarını doğruladı. Bu kapsamlı metodoloji, üretken büyük dil modellerinde paket halüsinasyonlarının ilk büyük ölçekli niceliğidir (bkz:: Bilgisayar korsanları, kötü amaçlı yazılım yaymak için AI halüsinasyonlarını kullanabilir).
Sonuçlar model kategorileri arasında bir eşitsizlik ortaya koymuştur. Açık kaynaklı motorlar ortalama% 21.7’lik bir halüsinasyon oranına sahipken, GPT 4 ve GPT 4 Turbo gibi ticari teklifler, ihmal edilemez olmasa da% 5.2 hata oranı daha düşük bir tuttu.
Tüm deneylerde, araştırmacılar 205.474 benzersiz halüsinasyonlu paket isimleri belirlediler. Ayrıca halüsinasyonların kökenlerini de sınıflandırdılar. Araştırmacılar, var olmayan isimlerin% 38’inin gerçek kütüphaneleri tekrarladığını ve benzer adlandırma modellerini paylaştığını belirlediler. % 13’ü basit yazım hatalarından kaynaklanırken, geri kalan% 51’i açık bir soy olmadan saf imalatlardı.
Halüsinasyonlar ne rastgele ne de geçici oldu. Söz konusu olmayanların% 43’ü benzer taleplerde tekrarlanan ve% 58’i on yinelemede en az bir kez yeniden ortaya çıkarak, kötü niyetli aktörler tarafından kayıt için olgunlaşmış hedefler haline getirerek, bu mevcut olmayan isimlerin% 43’ü tekrarladı. Tekrarlanabilirlik, bu isimler altında kendi paketlerini önleyici olarak yayınlamak isteyen saldırganlar için halüsinasyonları güvenilir belirteçler haline getiriyor.
Güvenlik araştırmacısı Seth Larson, bu yeni saldırı vektörünü tanımlamak için başlangıçta “slopsquatting” ü birleştirerek yazım tüzüğü ilkelerini AI ile indüklenen hatalara genişletti. Tehdit aktörleri, bir AI modeli ile aynı adı taşıyan ve kötü niyetli yükler enjekte eden bir paket oluşturursa, varsayılan bağımlılık çözünürlüğünü kullanan herhangi bir otomatik yükleyici bilmeden düşman kodunu getirir ve yürütür. Böyle bir uzlaşma, tespitten önce CI/CD boru hatları ve üretim ortamları aracılığıyla yayılabilir.
Araştırmacılar, rastgeleliği azaltmak için model sıcaklık ayarlarının ayarlanması, korkuluk istemlerini beklenmedik bağımlılıkları işaretlemek ve resmi kayıtlara karşı nesil sonrası isim doğrulamasını uygulamak için model sıcaklık ayarlarının ayarlanması da dahil olmak üzere azaltma stratejileri uyguladılar. Müdahaleler, üretilen kodun fonksiyonel kalitesini korurken halüsinasyon frekansında belirgin bir azalma yarattı.