Japonya’nın Kawasaki kentinden 25 yaşındaki bir adam, Japonya’da türünün ilk örneği olabilecek bir yapay zeka jailbreak vakasında fidye yazılımı oluşturmak için üretken yapay zeka araçlarını kullandığı iddiasıyla bu hafta tutuklandı.
Japonya’da yaygın olarak bildirilen Ryuki Hayashi’nin tutuklanması, bir saldırganın, hem bilgisayar korsanları hem de siber güvenlik araştırmacıları için bir takıntı haline gelen yapay zeka korkuluklarını alt etmesinin en son örneğidir.
Daha bu hafta, Almanya’nın CISPA Helmholtz Bilgi Güvenliği Merkezi’nden araştırmacılar, OpenAI tarafından iki haftadan biraz daha uzun bir süre önce piyasaya sürülen en son çok modlu geniş dil modeli (MLLM) olan GPT-4o’yu jailbreak yapma çabalarını bildirdiler. Bu araştırmacılar ve diğerleri tarafından dile getirilen endişeler, OpenAI’nin bu hafta yapay zeka risklerini ele almak için bir emniyet ve güvenlik komitesi kurmasına yol açtı.
AI Jailbreak Araçları ve Yöntemleri Açık Değil
Hayashi’nin tutuklanmasıyla ilgili haberlerde, fidye yazılımını oluşturmak için kullandığı araç ve yöntemlere ilişkin ayrıntılar eksik.
Japan Times, eski bir fabrika çalışanı olan Hayashi’nin “kötü amaçlı yazılım konusunda uzman olmadığını” bildirdi. İddiaya göre, kötü amaçlı yazılımların nasıl oluşturulacağı hakkında bilgi sağlayacak AI araçlarına nasıl sorular sorulacağını internetten öğrendi.”
Gazetenin haberine göre Hayashi, polisin onu “başkasının adına kayıtlı bir SIM kartı almak için sahte kimlik kullandığı iddiasıyla” Mart ayında tutukladıktan sonra şüphe altına alındı.
Hayashi’nin işsiz olduğunu bildiren Japan News, polisin Mart ayındaki tutuklamanın ardından “bilgisayarda ev yapımı bir virüs” bulduğunu söyledi.
Haber, polisin “geçen yılın Mart ayında çeşitli üretken yapay zeka sistemlerine talimatlar verdikten sonra elde edilen kötü amaçlı yazılım programları oluşturma hakkındaki bilgileri birleştirmek için ev bilgisayarını ve akıllı telefonunu kullandığından” şüphelendiğini söyledi.
Haberde, Hayashi’nin “dosyaları şifrelemek ve fidye talep etmek için gerekli tasarım bilgilerini elde etmek amacıyla virüs oluşturma amacını gizleyerek yapay zeka sistemlerine talimat verdiği iddia edildi” ifadesine yer verildi. “Yasa dışı bilgi edinmenin yollarını internette araştırdığı söyleniyor.”
Hayashi’nin sorgulama sırasında suçlamaları kabul ettiği ve polise şunları söylediği bildirildi: “Fidye yazılımı yoluyla para kazanmak istedim. Yapay zekaya sorarsam her şeyi yapabileceğimi düşündüm.”
Haber, yarattığı fidye yazılımından kaynaklanan herhangi bir hasar raporunun bulunmadığını söyledi.
LLM Jailbreak Araştırması Kızışıyor
Bu haber, yapay zeka jailbreak ve saldırı tekniklerine ilişkin araştırmaların arttığı, riskler ve olası çözümlere ilişkin son raporların da yer aldığı bir dönemde geldi.
Bu hafta arXiv’de yayınlanan bir makalede CISPA araştırmacıları, GPT-4o’nun ses modundaki saldırı başarı oranını (ASR), “GPT-4o’yu insanileştiren yeni bir sesli jailbreak saldırısı” olan VOICEJAILbreak adını verdikleri bir saldırıyla iki kattan fazla artırabildiklerini söyledi. 4o ve onu kurgusal hikaye anlatımı (ortam, karakter ve olay örgüsü) yoluyla ikna etmeye çalışıyor.
Şubat ayında Berkeley’deki Kaliforniya Üniversitesi’ndeki araştırmacılar tarafından yayınlanan bir başka arXiv makalesi, Microsoft Copilot ve ChatGPT gibi GenAI araçlarıyla ilişkili bir dizi riskin yanı sıra, izleme için bir “AI güvenlik duvarı” geliştirilmesi gibi olası çözümleri inceledi. ve gerekirse LLM giriş ve çıkışlarını değiştirin.
Bu ayın başlarında OT ve IoT güvenlik şirketi SCADAfence, çok çeşitli yapay zeka araçlarını, tehdit aktörlerini ve saldırı tekniklerini özetledi. Raporda, ChatGPT ve Google Gemini gibi genel kullanım senaryosu sohbet robotlarına ek olarak, WormGPT, FraudGPT, DarkBERT ve DarkBART gibi kötü amaçlı amaçlarla oluşturulan “karanlık LLM’ler” de incelendi.
SCADAfence, OT ve SCADA kuruluşlarının kontrol sistemleri için ağ maruziyetini sınırlama, yama uygulama, erişim kontrolü ve güncel çevrimdışı yedeklemeler gibi en iyi uygulamaları takip etmesini önerdi.
GenAI kullanımları ve yanlış kullanımlarının, önümüzdeki hafta ABD başkentinin hemen dışındaki National Harbor, Maryland’de düzenlenecek Gartner Güvenlik ve Risk Yönetimi Zirvesi’nde de bir dizi sunumun konusu olması bekleniyor.