Sheffield Üniversitesi’ndeki araştırmacılar, ChatGPT de dahil olmak üzere bir dizi doğal dil işleme (NLP) üretken yapay zeka (GenAI) aracını, gerçek dünyadaki siber saldırıları başlatmak için kullanılabilecek etkili kod üretmeye başarıyla kandırdıklarını söyledi.
ChatGPT gibi araçların kötüye kullanılması ve kandırılarak siber saldırılar başlatmak için kullanılabilecek kötü amaçlı kod yazılması potansiyeli, son 12 ay boyunca uzun uzadıya tartışıldı. Ancak gözlemciler, bu tür bir kodun büyük ölçüde etkisiz olacağı ve yararlı olması için kodlayıcıların ekstra dikkatine ihtiyaç duyulacağı konusunda hemfikir olma eğilimindeydiler.
Ancak Üniversiteye göre ekibi artık metinden SQL’e sistemlerin (insanların sade bir dille sorular sorarak veritabanlarında arama yapmasına olanak tanıyan üretken yapay zeka araçları) bu şekilde kullanılabileceğini kanıtladı.
Sheffield Üniversitesi NLP araştırma grubunda kıdemli öğretim görevlisi olan Mark Stevenson, “Metinden SQL’e sistem kullanıcıları bu çalışmada vurgulanan potansiyel risklerin farkında olmalıdır” dedi. “Metinden SQL’e sistemlerde kullanılanlar gibi büyük dil modelleri son derece güçlüdür ancak davranışları karmaşıktır ve tahmin edilmesi zor olabilir. Sheffield Üniversitesi’nde şu anda bu modelleri daha iyi anlamak ve tüm potansiyellerinin güvenli bir şekilde hayata geçirilmesine olanak sağlamak için çalışıyoruz.”
Sheffield Üniversitesi doktora öğrencisi Xutan Peng, “Gerçekte pek çok şirket bu tür tehditlerin farkında değil ve sohbet robotlarının karmaşıklığı nedeniyle topluluk içinde bile tam olarak anlaşılmayan şeyler var” diye ekledi. “Şu anda ChatGPT büyük ilgi görüyor. Bu bağımsız bir sistem olduğundan hizmetin kendisine yönelik riskler minimum düzeydedir ancak bulduğumuz şey, diğer hizmetlere ciddi zarar verebilecek kötü amaçlı kod üretmek üzere kandırılabileceğidir.”
Araştırma ekibi altı yapay zeka aracını inceledi: Çin tarafından geliştirilen Baidu-Unit, ChatGPT, AI2SQL, AIhelperbot, Text2SQL ve ToolSKE. Her durumda, yapay zekaların her birine son derece spesifik sorular girerek, çalıştırıldığında gizli verileri başarılı bir şekilde sızdırabilecek ve bir veritabanının normal hizmetini kesintiye uğratabilecek veya yok edebilecek kötü amaçlı kod ürettiklerini keşfettiler.
Baidu-Unit örneğinde ayrıca gizli Baidu sunucu yapılandırmalarını ele geçirip bir sunucu düğümünü devre dışı bırakabildiler. Baidu bilgilendirildi ve bu özel sorun düzeltildi.
Araştırmacılar ayrıca basit arka kapı saldırıları başlatmak için AI araçlarından yararlanabildiler ve eğitim verilerini zehirleyerek metinden SQL’e modellere bir Truva atı yerleştirmeyi başardılar.
Aynı zamanda nesli tükenmekte olan dilleri öğretmek için NLP teknolojisini kullanmak üzerinde çalışan Peng, çalışmanın, insanların veritabanlarıyla daha iyi etkileşim kurmak amacıyla programlama dillerini öğrenmek için yapay zekayı nasıl kullandıklarının tehlikelerini vurguladığını söyledi. Niyetleri onurlu olabilir ama sonuçları oldukça zarar verici olabilir.
“ChatGPT gibi yapay zekaların riski, giderek daha fazla insanın bunları sohbet amaçlı bir bot yerine üretkenlik aracı olarak kullanmasıdır ve araştırmamız, güvenlik açıklarının burada olduğunu gösteriyor” diye açıkladı.
“Örneğin, bir hemşire ChatGPT’den bir SQL komutu yazmasını isteyebilir, böylece klinik kayıtları saklayan bir veritabanıyla etkileşime girebilir. Çalışmamızda da görüldüğü gibi ChatGPT tarafından üretilen SQL kodu çoğu durumda veri tabanına zarar verebiliyor, dolayısıyla bu senaryoda hemşire hiçbir uyarı bile almadan ciddi veri yönetimi hatalarına neden olabiliyor.”
Peng ve diğer araştırmacılar bulgularını bu ayın başlarında İtalya’daki ISSRE konferansında sundular ve şu anda buldukları güvenlik açıklarını gidermek için güvenlik topluluğuyla birlikte çalışıyorlar.
Bu güvenlik açıklarının, hem NLP’nin hem de siber uzmanların bu tür sorunları daha iyi tanımlamalarına ve çözmek için birlikte çalışmalarına yardımcı olacak bir kavram kanıtı olarak hizmet edeceğini umuyorlar.
“Çabalarımız endüstri tarafından kabul ediliyor ve bu güvenlik kusurlarını düzeltmek için tavsiyelerimize uyuyorlar” dedi. “Ancak sonu olmayan bir yolun kapısını açıyoruz. Şimdi görmemiz gereken şey, açık kaynak toplulukları aracılığıyla güvenlik risklerini en aza indirmek için yamalar oluşturup test eden büyük araştırmacı gruplarıdır. Saldırganlar tarafından her zaman daha gelişmiş stratejiler geliştirilecektir, bu da güvenlik stratejilerinin buna ayak uydurması gerektiği anlamına gelir. Bunu yapabilmek için bu yeni nesil saldırılarla mücadele edecek yeni bir topluluğa ihtiyacımız var.”