Antropik rapor, üretken AI kötüye kullanımından kaynaklanan tehditlere ışık tutuyor

Siber güvenlik manzarası, yapay zeka sistemleri kötü niyetli aktörler tarafından giderek daha fazla silahlandırıldıkça benzeri görülmemiş zorluklarla karşı karşıya.

24 Nisan 2025’te “Claude: Mart 2025’in kötü niyetli kullanımlarını tespit ve karşı koymak” başlıklı antropik olarak yayınlanan çığır açan bir rapor, AI model sömürüsünün kalıplarıyla ilgili olarak ortaya çıkmıştır.

Rapor, tehdit aktörlerinin, Claude modellerini hain amaçlar için kullanan mevcut AI güvenlik önlemlerini başarılı bir şekilde atladığı ve AI özellikli tehditlerin gelişen doğası hakkında acil tartışmalara yol açtığı birkaç sofistike vakayı belgeliyor.

Soruşturma, her biri rakiplerin üretken yapay zekayı nasıl işlediğinde önemli bir ilerlemeyi temsil eden dört ayrı model kötüye kullanımı vakasını belirledi.

Bunlar arasında, birden fazla ülkede 100’den fazla sosyal medya botunu düzenleyen bir hizmet olarak etki operasyonu, IoT kamera sistemlerini hedefleyen kimlik bilgisi doldurma saldırıları, Doğu Avrupa iş arayanları hedefleyen sofistike işe alım sahtekarlığı kampanyaları ve belki de en endişe verici bir şekilde, sınırlı teknik uzmanlığa rağmen gelişmiş kötü amaçlı araçlar geliştiren bir acemi aktör.

SecurityBreak araştırmacıları raporda kritik bir boşluk belirlediler – güvenlik ekiplerinin hemen uygulayabileceği eyleme geçirilebilir zekanın olmaması.

Rapor kötü niyetli faaliyetleri kapsamlı bir şekilde belgelemekle birlikte, proaktif savunma mekanizmalarını sağlayacak belirli uzlaşma göstergeleri (IOC’ler) yoktur.

Raporu analiz eden bir güvenlik araştırmacısı Thomas Roccia, “Bu bulguları özellikle ilgili kılan şey, AI’nın ileri saldırı yeteneklerini nasıl etkili bir şekilde demokratikleştirdiğidir” dedi.

“Kötü amaçlı yazılım geliştirme vakası, düşük vasıflı bireylerin artık daha önce önemli uzmanlık gerektiren sofistike tehditler yaratabileceğini gösteriyor.”

Bu paradigma değişimi, tehdit tespit yaklaşımlarının temel olarak yeniden değerlendirilmesini gerektirir.

IP adresleri, dosya karmaları ve alan adları gibi geleneksel IOC’ler, birincil saldırı vektörünün AI sistemlerini manipüle etmek için tasarlanmış istemler haline geldiği bir ortamda artık yeterli olmayabilir.

Nova çerçevesi ile kötü niyetli istemleri tespit etmek

LLM TTP’lerin (büyük dil modeli taktikleri, teknikler ve prosedürler) ortaya çıkan alanı, güvenlik profesyonellerinden derhal ilgi gerektiren bir alanı temsil eder.

Bu teknikler, AI’nın korunmalarını atlayan, model çıktılarını kötü niyetli amaçlar için manipüle eden ve siber saldırılarda üretilen içerikten yararlanan özel olarak tasarlanmış istemlerin hazırlanmasını içerir.

Bu zorluğu ele almak için güvenlik araştırmacıları, “özellikle olumsuzluk istemlerini tespit etmek ve avlamak için tasarlanmış ilk hızlı kalıp eşleştirme aracı” olarak tanımlanan Nova’yı geliştirdiler.

Bu açık kaynaklı çerçeve, tehdit avcılarının Yara’ya benzer, ancak özellikle şüpheli istemleri tanımlamak için özel olarak uyarlanmış tespit kuralları oluşturmalarını sağlar.

Nova çerçevesi, katı anahtar kelime/regex eşleştirme, semantik anlam analizi ve LLM değerlendirmesini birleştirerek hızlı bir şekilde tespit için çok yönlü bir yaklaşım kullanır.

Örneğin, potansiyel kötü amaçlı yazılım geliştirme istemlerini tespit etmek için bir Nova kuralı şu şekilde yapılandırılabilir:-

rule MalwareDevPrompt {
    meta:
        description = "Detects prompts related to malware generation"
        author = "ThreatResearcher"
        date = "2025-04-30"
    strings:
        $s1 = /convert.*scripts.*malware.*evade/i
        $s2 = /undetectable.*malware.*generator/i
    condition:
        any of them
}

Bu yeni alan geliştikçe, güvenlik ekipleri istemi analizi tehdit istihbarat çerçevelerine dahil etmelidir.

Miter Atlas Matrix ve benzer çerçeveler artık AI ile ilgili TTP’leri haritalayarak, ortaya çıkan tehditleri anlamak ve bunlara karşı koymak için yapılandırılmış bir yaklaşım sağlıyor.

Rapor, AI sistemlerinin daha güçlü ve erişilebilir hale geldikçe, güvenlik topluluğunun eşit derecede sofistike savunma mekanizmaları geliştirmesi gerektiğini kesin bir hatırlatma görevi görüyor.

Hızlı kalıpların izlenmesi, önümüzdeki on yılın tanımlayıcı güvenlik zorluğu haline gelebilecek şeyleri ele almak için gereken kapsamlı bir stratejinin sadece bir yönünü temsil eder.

Malware Trends Report Based on 15000 SOC Teams Incidents, Q1 2025 out!-> Get Your Free Copy