Flashpoint tarafından izlenen son bir durumda, küresel bir firmadaki bir finans çalışanı normal görünen bir görüntülü görüşmeye katıldı. Sonunda 25 milyon dolar gitti. Çalışan dışında çağrıdaki herkes derin bir pultu. Suçlular, yöneticileri ödemeyi onaylayacak kadar ikna edici bir şekilde taklit etmek için yapay zeka ile çalışan siber suç taktiklerini kullanmışlardı.
Telegram’da belirtilen üst düzey kötü niyetli LLM’ler (kaynak: Flashpoint)
Tehdit aktörleri özellikle sahtekarlık ve siber suç için LLM’ler inşa ediyor. Bunlar çalıntı kimlik bilgileri, aldatmaca komut dosyaları ve hack kılavuzları konusunda eğitilmiştir. Bazıları kimlik avı e -postaları veya sahte faturalar oluşturur, diğerleri ise kötü amaçlı yazılımların nasıl kullanılacağını veya çalınan verileri nasıl çıkaracağını açıklar, AI ve Tehdit İstihbaratı Flashpoint’ten rapor.
Yapay zeka ile çalışan siber suçlar: Deeprafes ve özel modeller
Yeraltı toplulukları, popüler AI modellerinde güvenlik kısıtlamalarını atlayan girdiler olan jailbreak istemleri için bir pazar oluşturdu. Bunlar koleksiyonlarda, genellikle anlaşmazlık desteği veya katmanlı fiyatlandırma ile satılır. Kimlik avı, kimliğe bürünme veya banka sahtekarlığı için bazı istemler inşa edilmiştir.
Deep Prope hizmetleri de daha erişilebilir hale geliyor. Satıcılar sahte belgelerle birlikte sentetik video ve ses kitleri sunar. Bunlar genellikle kimlik doğrulamasına dayanan finansal platformları kandırmak için kullanılır. Bazı hizmetler, tam katılımcı sahtekarlığı desteklemek için zamanlama, arka planlar ve sahte belgeleri içerir.
Bu araçları izlemeyi zorlaştıran şey, ne kadar hızlı geliştikleri. Geliştiriciler, yeraltı forumlarından ve sohbetlerden kullanıcı geri bildirimleri toplar, ardından modellerini hassaslaştırır. Bazı durumlarda, günler içinde gelişmiş sürümler çıkarırlar. Bu geri bildirim döngüsü performansı artırır ve zaman içinde kullanım durumlarını genişletir.
Savunucular AI ile nasıl yanıt veriyor?
Güvenlik ekipleri, AI ile çalışan siber suçların hızına ayak uydurmak için AI kullanıyor ve daha önce yüzey tehditlerine büyük miktarda veri tarıyor. AI, büyük miktarda tehdit verisini, yüzey modellerini taramaya ve araştırmalara öncelik vermeye yardımcı olur. Örneğin, analistler bir tehdit oyuncunun alternatif telgraf kanallarını ortaya çıkarmak için AI kullandılar ve önemli manuel çaba tasarrufu sağladılar.
Başka bir kullanım durumu: Sockpuppet hesaplarını birbirine bağlama. AI, argo, emojiler ve yazma stillerini analiz ederek, isimleri ve avatarları farklı olsa bile sahte kişiler arasındaki bağlantıları ortaya çıkarmaya yardımcı olabilir. AI ayrıca yeni bir taktik forumlarda veya sosyal medyada çekiş almaya başladığında bayraklar.
Küçük başlayın ve analistleri döngüde tutun
Araştırmacılar, günlük incelemesi, çeviri veya varlık etiketleme gibi tekrarlayan görevlerle başlamayı önerir. Yapay zekanın doğruluğuna güven yaratın ve insan analistlerini kontrol altında tutun. Sonuçları gözden geçirmek için kontrol noktalarına sahip olun ve ekibinizin aracın önerdiğini geçersiz kılabilir veya ayarlayabildiğinden emin olun.
Daha fazla savunucu büyük miktarda tehdit verisini anlamak için AI’ya döndükçe, LLM’lerin her şeyi kendi başlarına halledebileceğini varsaymak kolaydır. Ancak konuşmayı yeraltından yorumlamak, AI’nın yardım almadan iyi yapabileceği bir şey değildir.
Flashpoint’teki Siber Tehdit İstihbaratının Başkan Yardımcısı Ian Gray, “Yerel ve argo bakımından zengin olan bu dağınık ortam, tipik olarak daha genel veya halka açık internet verileri konusunda eğitilmiş LLM’ler için bir engel oluşturuyor” dedi.
Sorun sadece argodan daha derine iniyor. Tehdit aktörleri genellikle her biri kendi stenografisi ve tonu olan birden fazla niş platformunda iletişim kurarlar. Bu, özel olarak bu tür içerik konusunda eğitilmemiş AI modelleri için işi zorlaştırır.
Bu yüzden AI bu alanda tek başına çalışamaz. Hala bağlamı anlayan ve bir şey kapalı olduğunda nasıl tespit edileceğini bilen insan analistlerine ihtiyacı var. Gray, “Yapay zekanın büyük miktarda bilgi için bir araç olarak faydasına rağmen, hala döngüde bir insan analisti gerektiriyor” dedi. “Bu insan gözetimi, sadece verilerin anlamını doğrulamak için değil, aynı zamanda AI’nın eğitilmesine aktif olarak yardımcı olmak için çok önemlidir, bu da bilgilerin LLM tarafından düzgün bir şekilde bağlamsallaştırılmasını ve anlaşılmasını sağlar.”
Gray ayrıca savunucuların yüzey işlevselliğinin ötesine bakması gerektiğini de not ediyor. “Yorumlama zorluklarının ötesinde, savunucular AI aracının temel bütünlüğünü ve güvenliğini doğrulamalıdır. Bu, eğitimini bozması veya çıktılarını manipüle etmek için kötü niyetli verilerin enjekte edilebileceği veri zehirlenmesi gibi potansiyel olumsuz saldırılara karşı dayanıklılığını değerlendirmeyi içerir.”
Açıklanabilirlik ve yeniden eğitim de anahtardır. “Güven oluşturmak ve etkili kullanımı kolaylaştırmak için AI araçları, insan analistlerinin AI’nın sonuçlarının arkasındaki mantığı anlamalarına izin vererek bir dereceye kadar açıklanabilirlik sunmalıdır. Bu şeffaflık, özellikle yeraltı jargonun karmaşıklığı ile uğraşırken, herhangi bir yanlış yorumlamayı düzeltmek için hayati önem taşır. Veri kalıplarındaki değişiklikler nedeniyle zamanla bozulmalar, güncellenmiş ve küratörlü tehdit istihbaratı ile düzenli olarak yeniden eğitilmesi etkinliğini korumak için çok önemlidir. ”
Gray’in görüşüne göre, “Nihayetinde, Tehdit Zekası için AI araçlarının başarılı ve güvenli bir şekilde benimsenmesi, insan uzmanlığı ve yapay zeka arasındaki simbiyotik bir ilişkiye bağlıdır. Yapay zeka muazzam veri kümelerindeki kalıpları verimli bir şekilde işleyebilir ve tanımlayabilir, ancak insan analisti, bağlamsal anlayış, dilsel nüans ve kritik doğrulama sağlayabilir.”
Yasadışı AI araçlarının yaşam döngüsünü izleme
Yeraltı forumlarını ve sohbet platformlarını izlemek önemlidir, ancak sadece şimdiye kadar gidiyor. Tehdit aktörleri taktiklerini değiştirdikçe, savunucuların yasadışı AI araçlarının nasıl inşa edildiğini, satıldığını ve rafine edildiğine ayak uydurmak için daha iyi yollara ihtiyaçları var.
Gray, “Sohbet platformlarının ve yeraltı forumlarının izlenmesinin ötesinde, yasadışı yapay zeka araçlarının yaşam döngüsünü, özellikle de ‘Hizmet Olarak Mühendislik’ ve kötü niyetli LLM gelişiminin evrimi ile izlemek ve bunlara yanıt vermek için ek mekanizmalar ve yönetişim stratejileri gereklidir” dedi.
Gray’e göre kritik bir adım, rakiplerin sadece var olduklarını değil, aynı zamanda nasıl işlediklerini nasıl inşa ettiklerini ve sattıklarını anlamaktır. “Bu sadece faaliyetlerini gözlemlemeyi değil, aynı zamanda belirli sahtekarlık şemaları için modelleri uyarlama veya araçları için katmanlı fiyatlandırma ve API erişimi yaratmak, meşru SaaS modellerini taklit etmek gibi yöntemlerini de içermeyi de içeriyor” dedi.
Başka bir zorluk, bu modellerin nasıl rafine edildiğini öngörmektir. Geri bildirim döngüleri, kullanıcıların kötü niyetli AI araçlarının arkasındaki geliştiricilerle neyin işe yarayıp neyin işe yaramadığı tehdit topluluklarında giderek daha yaygındır. Gray, “Flashpoint analistleri bu modellerin yeraltı forumu yayınları, ihlal dökümleri ve telgraf günlükleri kullanılarak rafine edildiğini gözlemlediler” dedi.
“Kullanıcıların gelişmiş performans ve genişletilmiş çıktılar için geliştiricilere başarısız derhal denemeler gönderdiği bu geri bildirim döngülerini anlamak çok önemlidir. Bu içgörü, savunucuların bu kötü niyetli araçların yeni yinelemelerini ve yeteneklerini öngörmesine yardımcı olabilir.”