Yapay Zeka ve Makine Öğrenimi , Siber Suçlar , Dolandırıcılık Yönetimi ve Siber Suçlar
Crooks, Mevcut Yüksek Lisans Korkuluklarını Jailbreak Yapacak Yapay Zeka Uzmanlarını İşe Alıyor
Akşaya Asokan (asokan_akshaya) •
27 Mart 2024
Güvenlik araştırmacıları, WormGPT gibi mevcut araçların gelişmiş izinsiz giriş yetenekleri taleplerini karşılayamaması üzerine siber dolandırıcıların özel, kötü amaçlı büyük dil modelleri geliştirmenin yollarını araştırdığını söyledi.
Ayrıca bakınız: E-posta Güvenliğiniz Saldırganlara Ayak Uyduruyor mu? Microsoft 365 Yatırımınızı Koruma
Cato Networks'ün güvenlik stratejisi kıdemli direktörü Etay Maor, yeraltı forumlarının, bilgisayar korsanlarının OpenAI ve Google'ın sahibi olduğu Gemini tarafından geliştirilen yapay zeka destekli sohbet robotları tarafından uygulamaya konulan korkuluklardan nasıl yararlanılacağına dair tartışmalarıyla dolu olduğunu söyledi.
Bir araştırmacının Telegram'da gözlemlediği vakalardan birinde, Poena adıyla anılan Rusça konuşan bir tehdit aktörü, kötü amaçlı LLM ürünleri geliştirmek için yapay zeka ve makine öğrenimi uzmanlarını işe alan bir reklam yayınladı.
Maor, bu eğilimin fidye yazılımı ve diğer kötü amaçlı yazılım operatörleri arasında da gözlemlendiğini söyledi.
Özellikle yeraltı pazarlarında reklamı yapılan WormGPT, XXXGPT ve XXX WolfGPT gibi mevcut özel araçların tehdit aktörlerinin ihtiyaçlarını karşılayamaması sonrasında yapay zeka yeteneğine olan talep arttı (bkz.: Suçlular Kötü Amaçlı Üretken Yapay Zeka Aracına Akın Ediyor).
Maor, “WormGPT orijinal reklamlarında nasıl bir keylogger yazdıklarını gösteriyordu, ancak ona baktığınızda kodun oldukça yetersiz olduğunu ve suçluların çok hızlı bir şekilde abartıldığı gibi olmadığını anladılar” dedi.
Crooks, uygulama geliştiricileri tarafından uygulanan jailbreak kısıtlamalarını kırmak ve kötü amaçlı GPT'ler oluşturmak amacıyla OpenAI ve Bard tarafından geliştirilen özel GPT'lerden yararlanmak için yapay zeka uzmanlarını işe almayı düşündüğünü söyledi.
Maor, “Aslında yapmanız gerekeni yapan ve halüsinasyon görmeyen kod üretmede kendilerine yardımcı olacak şeyler arıyorlar” dedi.
Recorded Future'ın 19 Mart tarihli raporu, tehdit aktörlerinin kötü amaçlı yazılım ve açıklardan yararlanma amaçlı yazılımlar geliştirmek için üretken yapay zekayı kullandığını vurguluyor. Rapor, yapay zeka için modelde ince ayar yapılmasını gerektirmeyen dört kötü amaçlı kullanım durumunu tanımlıyor.
Kullanım örnekleri arasında, kötü amaçlı yazılımları tanımlamak ve sınıflandırmak için YARA kurallarını kullanan LLM uygulamaları tarafından kullanılan algılama araçlarından kaçınmak için yapay zekanın kullanılması yer alıyor.
Raporda, “Bu kamuya açık kurallar aynı zamanda iki ucu keskin bir kılıç görevi görüyor” dedi. “Savunucuların güvenlik önlemlerini geliştirmeleri için bir kaynak olmaları amaçlanırken, aynı zamanda tehdit aktörlerine algılama mantığına ilişkin içgörüler sağlayarak kötü amaçlı yazılım özelliklerini kaçırma için ayarlamalarına olanak tanıyor.”
Recorded Future, bu tekniği kullanarak, APT28 tarafından kullanılan ve kötü amaçlı yazılım kaynak kodunu bir LLM sistemine gönderen bir PowerShell bilgi hırsızı olan SteelHook'u değiştirdi. Araştırmacılar, LLM sisteminden tespitten kaçınmak için kaynak kodunu değiştirmesini istedi.
Recorded Future'a göre, tehdit aktörleri, belirli bir endüstriyel kontrol sistemi hakkında bilgi almak ve ekipmandaki potansiyel güvenlik açıklarını belirlemek için geniş bir istihbarat verisi hazinesini ayıklamak amacıyla çok modelli yapay zekayı da muhtemelen kullanacaklar.
Araştırmacılar, bunun yüksek güçlü bilgi işlem gerektireceğini söyledi ve bu tür becerilerin muhtemelen gelişmiş ulus devlet aktörleriyle sınırlı olduğunu tahmin ettiler. Bu becerilere sahip olmayan tehdit aktörlerinin yapay zekayı derin sahtekarlıklar oluşturmak ve dezenformasyon yaymak için kullanma ihtimalinin yüksek olduğunu söylediler.
Birleşik Krallık Ulusal Siber Güvenlik Merkezi'nin daha önceki bir raporunda da benzer gözlemler yer alıyordu. AI kaynaklarına erişimin, siber suç ekosisteminin alt ucundaki tehdit aktörleri için bir kısıtlama olmaya devam ettiğini ve bu noktada operasyonlarını kimlik avı e-postaları oluşturmakla sınırladığını söylüyor (bkz.: Büyük Dil Modelleri Bilgisayar Korsanlarının Yerini Almayacak).
Maor, ChatGPT gibi yüksek lisans (LLM) üreticilerinin, kötü amaçlı kod oluşturma ve kimlik avı e-postaları hazırlama gibi faaliyetleri sınırlayarak korumalarını geliştirmiş olmasına rağmen, özel GPT'lerin veri sızıntılarına daha yatkın olması nedeniyle daha önleyici tedbirler içermesi gerektiğini söyledi.
Bunun, belirli kullanım durumları oluşturmak ve platformdaki her kullanım durumunu doğrulamak için bir “onay damgası” gerektirmeyi de içerdiğini ekledi.
Recorded Future, yapay zeka kullanılarak geliştirilen polimorfik türleri tanımlamak için çok katmanlı ve davranışsal kötü amaçlı yazılım algılama yeteneklerinin kullanılmasını önerir. Ayrıca, halka açık içeriklerde uygun markalamanın kullanılmasını da önerir.