Yapay Zeka ve Makine Öğrenmesi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Mallalar Kolayca Satın Alınabilir veya Kiralanabilir
Rashmi Ramesh (raşmiramesh_) •
6 Eylül 2024
Yapay zekanın kötüye kullanılmasına karşı daha iyi güvenlik önlemleri alınması çağrısında bulunan akademisyenler, yasadışı büyük dil modelleri için yeraltı pazarının kazançlı bir pazar olduğunu söyledi.
Ayrıca bakınız: InfoSec: Tutarlılığı Sağlamak İçin Üçüncü Taraf Risk Yönetimine Yapay Zeka Uygulamak
Indiana Üniversitesi Bloomington’daki akademisyenler, Nisan’dan Eylül’e kadar yeraltı pazaryerlerinde 212 kötü niyetli LLM tespit ettiklerini söyledi. Bunlardan birinin arkasındaki tehdit aktörü WormGPT’nin sadece iki ay boyunca elde ettiği mali gelir 28.000 dolar olarak hesaplandı; bu, kötü ajanların yapay zeka bariyerlerini aşma cazibesini ve ayrıca onları buna iten ham talebi vurguluyor.
Satışta olan birkaç yasadışı LLM sansürsüzdü ve açık kaynaklı standartlar üzerine kurulmuştu ve bazıları jailbreak’li ticari modellerdi. Makalenin arkasındaki akademisyenler kötü niyetli LLM’lere “Mallas” adını veriyor.
Bilgisayar korsanları, Mallas’ı kötü niyetli bir şekilde kullanarak maliyetin çok daha düşük bir kısmına mal olan hedefli kimlik avı e-postaları yazabilir, kötü amaçlı yazılımlar geliştirebilir ve sıfır günlük saldırıları otomatik olarak kapsamlandırıp istismar edebilir.
Yapay zeka modelleri geliştiren teknoloji devleri, jailbreak’i önlemek için mekanizmalara sahip ve jailbreak istemlerinin otomatik olarak algılanması için yöntemler üzerinde çalışıyor. Ancak bilgisayar korsanları da bariyerleri aşmanın yollarını keşfetti.
Microsoft yakın zamanda hackerların OpenAI, Meta, Google ve Anthropic’in LLM’lerini yasadışı isteklere yanıt vermeye ve zararlı bilgileri ifşa etmeye zorlamak için bir “iskelet anahtar” kullandığını ayrıntılı olarak açıkladı. Robust Intelligence ve Yale Üniversitesi’nden araştırmacılar ayrıca model parametreleri gibi özel bilgi gerektirmeyen OpenAI, Meta ve Google LLM’lerini jailbreak etmek için otomatik bir yöntem belirlediler.
Indiana Üniversitesi araştırmacıları iki sansürsüz LLM buldu: Her 50 mesaj için 78 sente satılan DarkGPT ve aylık 64,98 dolara mal olan bir abonelik hizmeti olan Escape GPT. Her iki model de antivirüs araçları tarafından üçte iki oranında tespit edilemeyen doğru, kötü amaçlı kod üretti. 150 dolarlık sabit bir ücret karşılığında sunulan WolfGPT, kullanıcıların spam algılayıcılarının çoğundan kaçabilen kimlik avı e-postaları yazmalarına olanak sağladı.
Araştırmacıların incelediği kötü niyetli LLM’lerin neredeyse tamamı kötü amaçlı yazılım üretme yeteneğine sahipti ve %41,5’i kimlik avı e-postaları üretebiliyordu.
Kötü amaçlı ürünler ve hizmetler öncelikle OpenAI’nin GPT-3.5 ve GPT-4, Pygmalion-13B, Claude Instant ve Claude-2-100k üzerine inşa edildi. OpenAI, kötü amaçlı GPT oluşturucularının en sık hedef aldığı LLM satıcısıdır.
Araştırmacıların keşfettiği saldırıları önlemeye ve savunmaya yardımcı olmak için, sansürsüz LLM’ler aracılığıyla kötü amaçlı yazılım oluşturmak ve genel LLM API’lerinin güvenlik özelliklerini atlatmak için kullanılan istemlerin veri kümesini diğer araştırmacılara sundular. Ayrıca, yapay zeka şirketlerini sansür ayarları yerinde olan modelleri yayınlamaya ve sansürsüz modellere yalnızca güvenlik protokolleri yerinde olan bilimsel topluluğun erişmesine izin vermeye çağırdılar. FlowGPT ve Poe gibi barındırma platformlarının Mallas’ın bunlar aracılığıyla erişilebilir olmamasını sağlamak için daha fazla şey yapması gerektiğini söylediler ve eklediler, “Bu serbest bırakma yaklaşımı, kötü niyetli kişilerin LLM’leri kötüye kullanması için verimli bir zemin sağlıyor.”