Son birkaç ayda, tipik bir saldırı zincirinde yer alan birçok görevi gerçekleştirmek için ChatGPT ve diğer üretken AI platformlarının kullanılabileceğini gösteren bir dizi kavram kanıtı (PoC) gördük. Ve Kasım 2022’den bu yana, beyaz şapka araştırmacıları ve bilgisayar korsanlığı forumu kullanıcıları, ChatGPT’yi Python tabanlı bilgi hırsızları, şifreleme araçları, kripto kırpıcılar, kripto para boşaltıcılar, şifreleyiciler, kötü amaçlı VBA kodu ve diğer birçok kullanım durumu üretmek için kullanmaktan bahsediyorlar.
Yanıt olarak OpenAI, kullanım koşulları ihlallerini önlemeye çalıştı. Ancak, kötü amaçlı yazılımların işlevleri genellikle meşru yazılımlardan ayırt edilemediğinden, gönderilen istemlere dayalı olarak varsayılan amacı belirlemeye dayanır. Birçok kullanıcı bunu atlatmak için adapte olmuş ve yaklaşımlar geliştirmiştir. En yaygın olanı “hızlı mühendislik”, deneme yanılma süreci, hem meşru hem de kötü niyetli kullanıcıların istenen bir son yanıtı elde etmek için kullanılan dili uyarlamasıdır.
Örneğin, “satıcı X’in EDR platformunu atlatmak için kötü amaçlı yazılım oluştur” gibi bariz bir şekilde kötü niyetli bir komut kullanmak yerine, görünüşte masum görünen birkaç komut girilir. Kod yanıtları daha sonra özel kötü amaçlı yazılım yapmak için eklenir. Bu, yakın zamanda, bir EDR satıcısının yazılımındaki bir güvenlik açığını belirlemek ve kötü amaçlı yazılım kodu üretmek için ChatGPT’den başarıyla yararlanan güvenlik araştırmacısı codeblue29 tarafından gösterildi – bu, ChatGPT’nin ilk hata ödülüydü.
Benzer başarı, kaba kuvvet odaklı stratejilerle elde edilmiştir. Ocak 2023’te CyberArk araştırmacıları, ChatGPT’nin istenen görevleri yerine getirmesi konusunda “ısrar ederek ve talep ederek” ChatGPT’nin içerik filtrelerinin nasıl atlanabileceğini gösteren bir rapor yayınladı.
Diğerleri, OpenAI ürünleri genelinde içerik ilkesi uygulama mekanizmalarındaki farklılıklardan yararlanmanın yollarını buldu.
Siber suç forumu kullanıcılarının yakın zamanda, ChatGPT kullanıcılarına uygulanan daha sıkı kısıtlamaları aşmanın bir yolu olarak OpenAI’nin GPT-3.5 API’sine doğrudan erişimden yararlandığını iddia ettikleri bir Telegram botuna erişim reklamı yaptıkları gözlemlendi.
Rus bilgisayar korsanlığı forumları XSS ve Nulled’de yapılan birkaç gönderi, aracın istemleri doğrudan Telegram aracılığıyla GPT-3.5 API’ye gönderme yeteneğini tanıtıyor. Gönderiye göre bu yöntem, kullanıcıların karmaşık veya zaman alan hızlı mühendislik çabalarına girmeden kötü amaçlı yazılım kodu, kimlik avı e-postaları ve diğer kötü amaçlı çıktılar oluşturmasına olanak tanıyor.
Büyük dil modeli (LLM) etkin kötü amaçlı yazılımların muhtemelen en ilgili örnekleri, yukarıdaki taktiklerin bir kombinasyonu yoluyla üretilenlerdir. Örneğin, Mart 2023’te HYAS tarafından yayınlanan bir PoC, standart Uç Nokta Algılama ve Yanıt (EDR) araçlarını atlatabilme becerisini içeren LLM özellikli bir keylogger olan BlackMamba’nın yeteneklerini gösterdi.
Etkileyici yeteneklerine rağmen, ChatGPT hala doğruluk sorunları yaşıyor. Bunun bir kısmı, üretken önceden eğitilmiş transformatörlerin (GPT’ler) çalışma biçiminden kaynaklanmaktadır. Tahmin motorlarıdır ve olgusal hataları tespit etmek için özel olarak eğitilmemişlerdir, bu nedenle mevcut eğitim verilerine dayalı olarak istatistiksel olarak en olası yanıtı üretirler.
Bu, açıkça doğru olmayan yanıtlara yol açabilir – genellikle “halüsinasyonlar” veya “rastlantısal papağan” olarak adlandırılır – GPT özellikli hizmetlerin denetimsiz ortamlarda uygulanmasının önünde önemli bir engeldir. ChatGPT tarafından üretilen kodun kalitesiyle ilgili endişeler aynı – öyle ki, ChatGPT tarafından oluşturulan yorumlar, ilk sürümden hemen sonra kod paylaşım forumu Stack Overflow’tan yasaklandı.
İstemlerin ChatGPT GUI aracılığıyla mı yoksa doğrudan API çağrısı yoluyla mı gönderildiğine bakılmaksızın, mevcut nesil GPT modelleri ürettikleri kodu etkili ve bağımsız bir şekilde doğrulamaz. Bu, çalıştırılabilen açıklardan yararlanma kodu üretmek için tüm olası modülasyon senaryolarını doğrulamak için yeterince beceriye sahip olması gereken polimorfik kötü amaçlı yazılım geliştiricileri için bir sorundur.
Bu, düşük vasıflı tehdit aktörlerinin giriş engellerini engelleyici derecede yüksek hale getiriyor. Trend Micro’dan Bharat Mistry’nin öne sürdüğü gibi, “ChatGPT’nin kullanımı temel düzeyde kolay olsa da, onu güçlü kötü amaçlı yazılım üretebilecek şekilde değiştirmek, birçok bilgisayar korsanının ötesinde teknik beceri gerektirebilir.”
NCSC ayrıca, önemli ölçüde beceriye sahip olanların bile, üretici yapay zeka kullanmaktan daha verimli bir şekilde sıfırdan kötü amaçlı kod geliştirme olasılığının yüksek olduğunu değerlendiriyor.
GPT modellerinin diğer yinelemeleri, ticari olarak mevcut LLM özellikli ürünlerin yeteneklerini genişletmeye başlamıştır. Gelecekteki bu gelişmeler, motive olmuş tehdit aktörlerinin düşmanca operasyonları doğal beceri seviyelerinin üzerinde yürütmesi için gereken teknik eşiği azaltabilir.
Bununla birlikte, şu anda, mevcut nesil LLM’ler hem önemli vaatler hem de önemli riskler sunsa da, bunların daha geniş güvenlik etkileri, temel teknolojideki sınırlamalar nedeniyle hala susturulmaktadır. İnovasyon ve iyileştirme hızı hızlıdır ve gelecekteki ilerlemeler, ortalama üretken yapay zeka kullanıcısının kullanabileceği olanakları genişleterek daha fazla kötüye kullanım potansiyelini artıracaktır.