ChatGPT, kimlik avı siteleri oluşturmak için kullanılabilir, ancak bunları güvenilir bir şekilde tespit etmek için de kullanılabilir mi? Güvenlik araştırmacıları bu soruyu cevaplamaya çalıştı.
ChatGPT, kimlik avı sitelerini URL’lere dayalı olarak algılayabilir mi?
Kaspersky araştırmacıları 5.265 (2322 kimlik avı ve 2943 güvenli) URL’yi test etti.
ChatGPT’ye (GPT-3.5) basit bir soru sordular: “Bu bağlantı bir kimlik avı web sitesine mi yönlendiriyor?”. Yalnızca URL biçimine dayalı olarak, yapay zeka sohbet robotu %87,2 algılama oranına ve %23,2 yanlış pozitif oranına sahipti.
“Tespit oranı çok yüksek olsa da yanlış pozitif oranı kabul edilemez. Ziyaret ettiğiniz her beş web sitesinin engellendiğini düşünün. Elbette, hiçbir makine öğrenimi teknolojisi tek başına sıfır hatalı pozitif orana sahip olamaz, ancak bu sayı çok yüksek,” dedi Kaspersky’nin baş veri bilimcisi Vladislav Tushkanov.
Sonra biraz farklı bir soru denediler – “Bu bağlantıyı ziyaret etmek güvenli mi?” – ve sonuçlar çok daha kötüydü: %93,8 tespit oranı ve %64,3 yanlış pozitif oranı.
Tushkanov, “Daha genel istemin, bağlantının tehlikeli olduğuna dair bir karara varma olasılığının daha yüksek olduğu ortaya çıktı” dedi.
Her iki yaklaşım da tatmin edici olmayan sonuçlar verdi, ancak araştırmacılar “URL’nin şüpheli kısımlarını vurgulayarak ve olası saldırı hedeflerini önererek etten kemikten analistlere yardımcı olmak için bu tür bir teknolojiyi kullanmanın mümkün olduğu” konusunda hemfikirdi. Ayrıca, “klasik makine öğrenimi işlem hatlarını iyileştirmek için zayıf denetim işlem hatlarında kullanılabilir.”
Ancak araştırmacıları şaşırtan şey, ChatGPT’nin olası kimlik avı hedeflerini tespit etmeyi başarmasıydı.
“ChatGPT, birçok internet ve finansal hizmet hakkında bilgi sahibi olmak için yeterli gerçek dünya bilgisine sahip ve yalnızca küçük bir işlem sonrası adımla (örneğin, ‘Apple’ ve ‘iCloud’u birleştirme veya ‘LLC’ ve ‘Inc’i kaldırma) çok şey yapıyor. onları çıkarmakta iyi iş. Zamanın yarısından fazlasında bir hedefi tespit edebildi,” diye belirtti Tushkanov.
Daha fazla veri noktası daha iyi performans sağlar
NTT Security Japan araştırmacıları aynı şeyi denedi, ancak ChatGPT için daha fazla girdi sağladı: web sitesinin URL’si, HTML’si ve optik karakter tanıma (OCR) aracılığıyla web sitesinden çıkarılan metin.
Test yöntemine genel bakış (Kaynak: NTT Security)
ChatGPT’yi 1000 kimlik avı sitesi ve aynı sayıda kimlik avı olmayan site ile test ettiler. Kimlik avı sitelerini toplamak için OpenPhish, PhishTank ve CrowdCanary’den yararlanırken, kimlik avı yapmayan sitelerin bir listesini oluşturmak için bir Tranco listesi kullanıldı.
ChatGPT’den kullanılan sosyal mühendislik tekniklerini ve şüpheli unsurları belirlemesini, değerlendirilen sayfadaki markanın adını tespit etmesini, sitenin bir kimlik avı sitesi mi yoksa meşru bir site mi (ve neden) ve alan adı olup olmadığına karar vermesini istediler. isim meşru veya değil.
“GPT-4 kullanan deneysel sonuçlar, %98,3 kesinlik ve %98,4 geri çağırma ile umut verici bir performans gösterdi. GPT-3.5 ve GPT-4 arasındaki karşılaştırmalı analiz, ikincisinin yanlış negatifleri azaltma yeteneğinde bir gelişme olduğunu ortaya çıkardı,” diye belirtti araştırmacılar.
Ayrıca, ChatGPT’nin sahte kötü amaçlı yazılım bulaşma uyarıları, sahte oturum açma hataları, kimlik avı amaçlı SMS kimlik doğrulama isteği ve yasal olmayan alan adlarını belirleme gibi taktikleri doğru bir şekilde tanımlamada iyi olduğunu vurguladılar, ancak bazen etki alanı işgalini ve belirli sosyal mühendislik tekniklerini tanımlayamadılar. birden fazla alt alan adı vb. varsa meşru bir alan adıdır. Ayrıca, İngilizce olmayan web siteleriyle test edildiğinde o kadar iyi çalışmadı.
Araştırmacılar, “Bu bulgular yalnızca LLM’lerin kimlik avı sitelerini verimli bir şekilde belirleme potansiyelini vurgulamakla kalmıyor, aynı zamanda siber güvenlik önlemlerini geliştirmek ve kullanıcıları çevrimiçi dolandırıcılık faaliyetlerinin tehlikelerinden korumak için de önemli etkilere sahip.”