“Karanlık” Yapay Zeka Araçlarının Yükselişinin İçinde


Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme

Araştırmacıların Raporuna Göre WormGPT, DarkGPT ve İlkleri Yetersiz Teslim Edildi – Veya Dolandırıcılık Mıydı?

Mathew J. Schwartz (euroinfosec) •
17 Ağustos 2023

'Karanlık' AI Araçlarının Yükselişi İçinde - Korkunç Ama Etkili mi?
WormGPT Reklamı (Resim: SlashNext)

Suçluların kurbanları daha hızlı ve kolay bir şekilde toplamasına yardımcı olmak için tasarlanmış “karanlık” üretken yapay zeka araçları söz konusu olduğunda, alıcı dikkatli olsun.

Ayrıca bakınız: Tedarik Zinciri Riskini Değerlendirme ve Azaltma

Bu yıl çok sayıda yeni araç, OpenAI’nin ChatGPT’si ve Google’ın Bard’ı gibi mevcut büyük dil modellerine kötü bir alternatif sunacağını iddia etti. Bu araçlar genellikle suçluların belirli kötü niyetli gereksinimlerine (kötü amaçlı yazılım yazma, uzak ağları hackleme ve daha fazlası) göre özelleştirildiğini ve var olmayan etik güvenceler vaadiyle desteklendiğini iddia eder.

Gelişmekte olan teknolojiyi içeren pek çok şeyde olduğu gibi, yutturmaca gerçeğe ulaşmadı.

Piyasaya çıkan ilk araç olan WormGPT, Haziran ayında piyasaya sürüldü ve özel bir Telegram kanalında “Last” tanıtıcısını kullanan bir kişi tarafından satılıyordu. İlk olarak 2021’de piyasaya sürülen GPT-J-6B LLM’ye göre, WormGPT abonelikleri ayda 90 dolardan başladı.

Hizmet hızla yüzlerce kullanıcıya sahip olduğunu iddia etti ve e-posta güvenliği satıcısı SlashNext, kulağa ikna edici gelen bir kimlik avı e-postası oluşturabileceğini bildirdi. Bunun ötesinde, gözden geçirenler aracın gereğinden az teslim edildiğini öne sürdüler.

Outpost24’ün tehdit istihbaratı bölümünde kıdemli bir araştırmacı olan Margarita Del Val’in bir raporuna göre, Temmuz ayı sonlarında DarkGPT, FraudGPT, DarkBARD ve DarkBERT dahil olmak üzere bir dizi rakip teklif piyasaya sürüldü ve bunların tümü CanadianKingpin12 tanıtıcısını kullanan biri tarafından pazarlanıyor gibi görünüyordu. , Kraken Laboratuvarları.

Beklenmedik bir dönüşle, CanadianKingpin12 görünüşe göre 3 Ağustos’ta dört hizmetin tümünün fişini çekti. 9 Ağustos civarında, WormGPT’nin satıcısı ve çekirdek geliştiricisi Last, hizmetine çok fazla kamu ilgisi olduğunu söyleyerek aynı şeyi yaptı.

WormGPT’nin kapanışı, siber güvenlik muhabiri Brian Krebs’in, Son tanıtıcının arkasında olduğu iddia edilen Portekiz merkezli Rafael Morais ile bir röportajı yayınlamasıyla aynı zamana denk geldi.

‘Sarmalayıcı Hizmetleri’ mi yoksa Yapay Zeka Markalı Dolandırıcılıklar mı?

Trend Micro araştırmacıları David Sancho ve Vincenzo Ciancaglini’ye göre, WormGPT gerçek, özelleştirilmiş bir LLM gibi görünse de, diğer dört rakip hizmet düpedüz dolandırıcılık veya çalıntı hesaplar, VPN bağlantıları ve etik jailbreak’ler kullanarak meşru hizmetleri sorgulayan “sarmalayıcı hizmetler” olabilir. bir raporda.

Raporda, “Tüm duyurulara rağmen bu sistemlerin çalıştığına dair somut bir kanıt bulamadık.” “Dört LLM’nin en tanınmışı olan FraudGPT için bile, diğer forumlarda yalnızca satıcının tanıtım materyalleri veya demo videoları bulunabilir.”

LLM’ler oluşturmak yoğun bir çaba olduğundan, bu şaşırtıcı olmamalıdır. Sancho ve Ciancaglini raporda, “WormGPT’nin gösterdiği gibi, özel bir ekiple bile, yalnızca bir özelleştirilmiş dil modeli geliştirmek aylar alırdı.” Bir ürün piyasaya sürüldüğünde, hizmet sağlayıcıların yalnızca devam eden iyileştirmeleri değil, aynı zamanda kullanıcıların sorgularını desteklemek için gereken bulut bilgi işlem gücünü de finanse etmesi gerekir.

Kötü niyetli sohbet robotu geliştiricileri için bir başka zorluk da, yaygın olarak bulunan yasal araçların zaten yasa dışı kullanıma konulabilmesidir. Yeraltı forumları, ChatGPT gibileri için, aracın etik olmayan veya yasa dışı konularla ilgili sorgulara yanıt vermesini engellemek için tasarlanmış sağlayıcıların kısıtlamalarından kaçınmak için tasarlanmış yeni “jailbreak”leri ayrıntılarıyla anlatan kullanıcılardan gelen gönderilerle dolu.

Last, bu ayın başlarında yaptığı WormGPT onayında, hizmetinin “sınırsız bir ChatGPT’den başka bir şey olmadığını” ve “internetteki herkesin iyi bilinen bir jailbreak tekniğini kullanıp aynı şeyi başarabileceğini” belirterek aynı noktaya değindi. daha iyi sonuçlar, ChatGPT’nin jailbreak’li sürümlerini kullanarak elde edilir.”

Trend Micro’dan Sancho ve Ciancaglini, “Bu kısıtlama atlamaları, sürekli bir kedi ve fare oyunudur: LLM’ye yeni güncellemeler dağıtıldıkça jailbreak’ler devre dışı bırakılır.” “Bu arada, suç topluluğu tepki verir ve yenilerini yaratarak bir adım önde olmaya çalışır.”

Royal’in Yapay Zekayı Olası Kullanımı ve Kötüye Kullanımı

Suçluların iş akışlarını düzene sokmak için mevcut araçlara kötü markalı yaklaşımlara ihtiyaç duymadıklarını gösteren daha fazla kanıt, Royal ransomware grubundan sahte bir basın açıklaması şeklinde geliyor. Açıklama, ChatGPT’ye, Boston bölgesindeki bir okul bölgesinden veri çaldıktan ve kurbandan şantaj yapmaya teşebbüs ettikten sonra itibarlı görünmesi için bir Rus fidye yazılımı grubuna yeniden marka vermesi talimatı verilerek hazırlanmış gibi görünüyor.

19 Temmuz’da Royal, veri sızıntısı sitesinde Braintree Devlet Okulları ile ilgili “bir yanlış iletişim nedeniyle bazı verilerin çok kısa bir süre için geçici olarak açığa çıktığını” belirten “hemen yayınlanmak üzere” bir bildiri yayınladı.

Açıklamada “Brian Tree Okulları”na tekrar tekrar atıfta bulunuluyor ve sızan verileri indirmiş olabilecek herkesi onu silmeye teşvik ediyor ve onlara şunu söylüyor: “Ucuz bir Twitter akbabası olmayın ve indirdiğiniz her şeyi hemen silin.”

Royal’in açıklaması, belki de Rusça konuşan bir siber suç grubunun veri sızıntısı sitesinde daha önce hiç görülmemiş bir dille sona eriyor: “Bu kararı alırken, Royal Data Services’ın faaliyet gösterdiği temel ilkeler olan güven, saygı ve şeffaflığa olan bağlılığımızı yeniden teyit etmek istiyoruz. “

Bu çarpık marka yönetimi alıştırmasında görünüşte eksik olan tek şey, “müşterilerimizin verilerinin güvenliği bizim en büyük endişemizdir” iddiasındaki eski ihlal bildirimi klişesidir.

Tehdit istihbaratı şirketi RedSense’in baş araştırma görevlisi Yelisey Bohuslavskiy, Royal’in mesajının “onlara dil ve çeviri konusunda yardımcı olduğu için büyük olasılıkla bir yapay zeka” olduğunu söyledi. Grubun Temmuz ayında çalınan verileri silme vaadinin zamanlaması dikkate değer çünkü bu söz, Beyaz Saray’ın 7 Ağustos’ta on binlerce K-12 arasında siber direnci (en azından fidye yazılıma karşı) güçlendirmek için tasarlanmış bir dizi faaliyeti duyurmasından birkaç hafta önce geldi. öğrencilerin dönüşünden önce okul bölgeleri.

Royal hakkında Bohuslavskiy, “Zirveden önce açıklama yaptıkları için siyasi durumu çok iyi izliyorlar.” dedi.

Grubun Royal Data Services olarak yeniden markalaşıp değişmediği veya bu, adının mevcut bırakmaya karar verdiği bir AI halüsinasyonu olup olmadığı belirsizliğini koruyor.

Şimdiye kadar, bu “kötü yapay zeka” ve suçun durumudur: suç operasyonlarını bildiğimiz şekliyle yeniden yapmak değil, belki de onu beklenmedik, çoğu zaman banal yollarla desteklemek.





Source link