AI kod araçları genellikle sahte paketleri halüsinasyon ederek, saldırganların kamu kodu depolarında sömürebileceği slopsquatting adlı yeni bir tehdit oluşturuyor.
San Antonio, Oklahoma Üniversitesi ve Virginia Tech’deki Texas Üniversitesi’nden araştırmacılar tarafından yapılan yeni bir çalışma, bilgisayar kodu yazmak için tasarlanmış AI araçlarının sık sık yazılım paketi adlarını oluşturduğunu, “paket halüsinasyonlar” adı verilen bir sorun olduğunu göstermiştir.
Bu, geliştiricileri gerçek olduklarına inanmaya ve potansiyel olarak kamu kodu depolarındaki var olmayan paketleri aramaya itmeye zorlayabilen ikna edici ama var olmayan yazılım paket adları için önerilere yol açar.
Bu, saldırganların aynı halüsinasyonlu isimlerle kötü amaçlı paketler yüklemesine izin verebilir, burada şüphesiz geliştiricilerin meşru olduklarını ve projelerine dahil edileceklerini varsayacaklar.
Slopsquatting adı verilen bu yeni saldırı vektörü geleneksel yazım hatası saldırılarıtek fark, ince yazım alanları yerine, geliştiricileri kandırmak için AI tarafından üretilen halüsinasyonlar kullanmasıdır.
Araştırmacılar, kod oluşturan büyük dil modellerinde paket halüsinasyonlarını sistematik olarak incelediler (Llms), hem ticari hem de açık kaynaklı modeller dahil ve üretilen paketlerin önemli bir yüzdesinin hayali olduğunu bulmuştur. Bilgileriniz için LLM’ler, insan benzeri metin ve kod üretebilen bir tür yapay zekadır.
Üniversiteler, paket halüsinasyon probleminin kapsamını anlamak için yaygın olarak kullanılan 16 civarında kod üreten LLM ve iki hızlı veri kümesini analiz ettiler. Python ve JavaScript’te yaklaşık 576.000 kod örneği üretildi. Sadece hackread.com ile paylaşılan araştırmaya göre, “paket halüsinasyonlarının test edilen 16 modelin tamamında yaygın bir fenomen olduğu bulundu.”
Ayrıca, bu sorun hem ticari hem de açık kaynak modellerinde yaygındı ve GPT-4 gibi ticari LLM’ler açık kaynaklı modellerden daha az sıklıkta. “GPT serisi modellerinin açık kaynaklı modellere kıyasla halüsinasyonlu paketler üretme olasılığı 4 kat daha az bulundu” dikkat çeken (PDF).
Başka bir gözlem, LLM’lerin yapılandırılma şeklinin halüsinasyon oranını etkileyebileceği idi. Özellikle, LLM’lerde daha düşük sıcaklık ayarları halüsinasyon oranlarını azaltırken, daha yüksek sıcaklıklar onları önemli ölçüde arttırır.
Daha da önemlisi, LLM’lerin aynı icat edilen paket adlarını tekrarlama eğiliminde olmasıdır, çünkü “zamanın% 58’i, halüsinasyonlu bir paket 10 yinelemede bir kereden fazla tekrarlanır” diyor. Bu, sorunun sadece rastgele hatalar değil, tutarlı bir davranış anlamına geldiği anlamına gelir, bu da bilgisayar korsanlarının sömürülmesini kolaylaştırır.
Ayrıca, LLM’lerin son konular veya paketlerle istendiğinde ve genellikle kendi halüsinasyonlarını tanımlamak için mücadele ettiklerinde halüsinasyon olasılığının daha yüksek olduğu keşfedildi.
Araştırmacılar, paket halüsinasyonlarının, kod üreten LLM’lerin paketleri önermek için daha küçük bir dizi iyi bilinen ve güvenilir olanlara bağlı kalmada daha “muhafazakar” bir yaklaşım benimsemesi gerektiğini iddia eden yeni bir paket karışıklık saldırısı biçimi olduğu konusunda hemfikir.
Bu bulgular, AI destekli yazılım geliştirmenin güvenilirliğini ve güvenliğini artırmak için paket halüsinasyonlarının ele alınmasının önemini vurgulamaktadır. Araştırmacılar, kod üreten LLM’lerde paket halüsinasyonlarını azaltmak için çeşitli stratejiler geliştirdiler.
Bunlar, geri alma artırılmış üretim (RAG), kendini tekrarlama ve ince ayar içerir. Ayrıca, halüsinasyonlu paket adlarının ana listesi ve ayrıntılı test sonuçları dışında, kaynak kodlarını, veri kümelerini ve kodlarını kamuya açık hale getirerek açık bilime olan bağlılığını göstermeyi vurgulamaktadırlar.
Casey EllisBugcrowd’un kurucusu, AI destekli gelişimin yükselişi hakkında yorum yaptı, hızı artırırken, genellikle kalite ve güvenlikteki eşleşen artıştan yoksun olduğunu belirtti. O, aşırı güvenen LLM çıktılarının ve acele geliştirmenin, hızın dikkat ettiği slopsquatting gibi sorunlara yol açabileceği konusunda uyardı. Ellis, “Geliştiriciler, olmaması gerektiğini önlemek için mutlaka işlerin işe yaramasını hedeflemeyi hedefliyorlar” dedi.