Cyberattackers, cilalı spam hazırlamak, kötü amaçlı kod oluşturmak ve ikna edici kimlik avı yemini yazmak için üretken AI kullanıyor. Ayrıca AI sistemlerinin kendilerini uzlaşma noktalarına nasıl dönüştüreceklerini öğreniyorlar.
Son bulgular bu değişimi vurgulamaktadır. Columbia Üniversitesi ve Chicago Üniversitesi’nden araştırmacılar, üç yıl boyunca toplanan kötü niyetli e -posta trafiği üzerinde çalıştılar. Barracuda Research, AI asistanlarındaki zayıflıklardan yararlanan ve AI odaklı güvenlik araçlarına müdahale eden saldırganları da izledi.
AI e-posta tabanlı saldırılarda
LLM’lerle oluşturulan mesajlar daha resmi, dilbilgisel kaymalardan arınmış ve dilsel olarak sofistike olma eğilimindedir. Bu cila, filtrelerin yakalaması için onları daha zorlaştırır ve özellikle saldırganın ilk dili İngilizce olmadığında alıcılara daha ikna edicidir.
Saldırganlar ayrıca konu çizgilerinin ve vücut metninin farklı versiyonlarını test etmek için AI kullanıyorlar. Pazarlamada A/B testine benzer şekilde bu tür bir varyasyon, geçmiş savunmaları ve daha fazla kurbanın tıklamaya ne kadar cazip olduğunu belirlemelerine yardımcı olur.
AI asistanlarını hedefleyen e -posta saldırıları
Araştırmacılar ayrıca birçok çalışanın günlük iş için güvendiği AI asistanlarını hedefleyen saldırganları tespit ettiler. Microsoft Copilot gibi araçlar, soruları cevaplarken bağlam sağlamak için gelen kutuları, mesajları ve belgeleri tarar ve bu erişim yeni bir risk oluşturur.
Aşağıdaki senaryoyu düşünün: Kötü niyetli bir istemi zararsız görünümlü bir e-postanın içinde gizlenir. İleti, AI asistanı bir göreve yardımcı olurken onu alana kadar bir gelen kutusunda oturur. Bu noktada, asistan, hassas bilgileri sızıntı yapmak, kayıtları değiştirmek veya komutları çalıştırmak gibi şeyler yapmasını söyleyen gizli talimatları izleyebilir.
Diğer saldırılar, geri kazanımla yükseltilmiş nesil (RAG) kullanan sistemlere odaklanır. Bu sistemleri besleyen verileri bozarak, saldırganlar bir asistanın rapor verdiklerini etkileyebilir. Sonuç, güvenilmez cevaplar, kötü kararlar ve zehirli bağlama dayanan istenmeyen eylemlerdir.
Yapay zeka tabanlı güvenlik araçlarıyla kurcalama
Saldırganlar ayrıca AI destekli savunmaları kendi yararlarına bükmeye çalışıyorlar. Birçok e-posta güvenlik platformu artık otomatik çekirdekler, akıllı yönlendirme, otomatik bilet oluşturma ve spam triyajı gibi özellikleri içeriyor ve her biri potansiyel bir giriş noktası.
Bir saldırgan sisteme kötü niyetli bir istemi kaydırırsa, hassas verileri ortaya çıkaran bir otomatik geri çekilmeyi tetikleyebilir veya bir yardım masası biletini uygun kontroller olmadan artırabilir ve asla sahip olmamaları gereken erişim kazanabilirler. Bazı durumlarda, saldırganlar kuruluşun kendisine karşı iş akışı otomasyonu kullanır. Zehirlenmiş bir komut kötü amaçlı yazılım dağıtabilir, kritik kayıtları değiştirebilir veya anahtar işlemleri kapatabilir.
Savunmaları basitleştiren aynı AI özellikleri de saldırı yüzeyini genişletir. Korumalar olmadan, kötü aktörler saldırı vektörlerine korumak için tasarlanmış araçları çevirebilir.
Kimlik ve Dürüstlük Riskleri
Yüksek derecede özerklik ile hareket eden AI sistemleri başka bir risk taşır: kullanıcıları taklit etmek veya sahtekârlıklara güvenmek.
Bir taktik “kafası karışık yardımcısı” saldırısı olarak bilinir. Burada, yüksek ayrıcalıklara sahip bir AI ajanı, düşük ayrıcalıklı bir saldırgan adına bir görev gerçekleştirir. Bir diğeri, saldırganların Microsoft 365 veya Gmail gibi hizmetlerle entegrasyonları sızıntı yapan bilgileri veya hileli e -postaları göndermeye dahil ettikleri sahte API erişimini içeriyor.
Manipülasyon, araştırmacıların basamaklı halüsinasyonlar olarak adlandırdığı şeyden de yayılabilir. Tek bir zehirli istem özetlerini, gelen kutu raporlarını veya görev listelerini bozabilir. Örneğin, sahte bir yöneticinin sahte bir “acil” mesajı gerçek olarak muamele görebilir ve ekiplerin işe öncelik verdiğini veya kararları verme şeklini değiştirebilir. Yapay zeka çıkışlarına güvendiğinde, bu çıktılara bağlı olan her sistem risk altındadır.
Savunmalar nasıl uyum sağlamalı
SPF, DKIM ve IP blok listeleri gibi eski kontroller artık yeterli değildir. Yapay zeka kullanan saldırılara karşı koymak için kuruluşların birden fazla savunma katmanına ihtiyacı vardır. Önemli bir adım, filtreleri LLM’lerin nasıl içerik ürettiğinin farkına varmaktır, böylece anomalileri eski sistemleri geçebilecek ton, davranış veya niyetle işaretleyebilirler. Bir diğeri, AI sistemlerinin zaman içinde hatırladıklarını doğrulamaktır. Bu kontrol olmadan, zehirli veriler hafızada oyalanabilir ve gelecekteki kararları etkileyebilir.
İzolasyon da önemlidir. AI asistanları, doğrulanmamış eylemlerin hasara neden olmadan engellendiği içerilen ortamlarda çalışmalıdır. Kimlik yönetimi, AI entegrasyonlarına yalnızca ihtiyaç duydukları erişimi vererek en az ayrıcalık ilkesini izlemelidir. Son olarak, her talimatı şüphecilikle tedavi edin. Sıfır-tröst ilkeleri tutulacaksa, yürütmeden önce rutin talepler bile doğrulanmalıdır.
Teknoloji cevabın sadece bir parçasıdır. Çalışanlar kritik bir savunma hattıdır ve farkındalık eğitimi şüpheli mesajları tanımalarına ve bunları hızlı bir şekilde rapor etmelerine yardımcı olur, bu da zehirli istemlerin veya AI hazırlanmış saldırıların çekişme şansını azaltır.
AI-Haksız Güvenlik
Bir sonraki tehdit dalgası, kendi başlarına akıl yürütme, planlayan ve hareket eden ajanik yapay zeka ile çalışan sistemleri içerecektir. Bu araçlar kullanıcılara muazzam üretkenlik kazanımları sağlayabilirken, özerklikleri onları cazip hedefler yapar. Saldırganlar bir acenteyi yönlendirmeyi başarırsa, sistem kararlar alabilir, eylemleri başlatabilir veya verileri tespit edemeyebilir.
E -posta favori bir saldırı vektörü olmaya devam ediyor çünkü Gelen Kutusu, AI asistanları ve acenteleri takvimler, iş akışları ve işbirliği platformlarıyla entegre olarak tehdit yürütme için bir sahneleme alanı haline geldi. Her isteme ve istek, aşağı akış eylemlerini tetikleme potansiyelini taşır.
Bu alanı korumak filtrelemeden daha fazlasını gerektirir: sürekli doğrulama, sıfır tröst korkulukları ve bir saldırganın bir AI ajanından nasıl yararlanabileceğine dair proaktif modelleme gerektirir.
AI, saldırganların çalışma şeklini zaten değiştiriyor ve savunucuların nasıl yanıt vermesi gerektiğini yeniden şekillendiriyor. Güvenlik liderleri iki cephede esneklik oluşturmalıdır: rakipler AI’yi onlara karşı kullandığında ve kendi AI sistemlerini sertleştirdiklerinde tespit etmek, böylece saldırganlar onları zehirleyemez veya yanıltamazlar.