Birleşik Krallık’ın Ulusal Siber Güvenlik Merkezi (NCSC), ChatGPT gibi araçların arkasındaki büyük dil modellerinin (LLM’ler) bir gün neden olabileceği hasarı tartışıyor; bu modeller, şu anda farkında olmayan kurbanlara karşı hızlı enjeksiyon saldırıları olarak tanımlanan saldırıları gerçekleştirmek için kullanılıyor. .
NCSC, LLM’lerin siber suçlara dahil olma potansiyeli konusunda genel olarak oldukça iyimser bir yaklaşım benimsedi ve kuruluşları aşırı alarmcı bir yaklaşım benimsememeye çağırdı. Ancak teknik uzmanlar artık bazı konulardaki endişelerini LLM’lerle paylaştılar.
“Yüksek Lisans’larla ilgili anlaşılır heyecan arasında, küresel teknoloji topluluğu Yüksek Lisans’ın yeteneklerini, zayıf yönlerini ve – en önemlisi – güvenlik açıklarını henüz tam olarak anlayamıyor. Piyasada hâlihazırda çok sayıda Yüksek Lisans API’si mevcut olsa da, boşlukların doldurulmasına yardımcı olan birçok küresel araştırma olmasına rağmen Yüksek Lisans anlayışımızın hâlâ ‘beta’ aşamasında olduğunu söyleyebilirsiniz,” dedi kuruluşun platform araştırmalarından sorumlu teknoloji direktörü, şöyle konuştu: NCSC’nin web sitesinde yazıyor.
NCSC, LLM’lerin hala daha fazla makine öğrenimi (ML) aracı olmasına rağmen, daha genel yapay zeka (AI) yeteneklerinin bazı işaretlerini göstermeye başladıklarını söyledi.
Ekip, bunun nasıl olduğunu anlamak için çalışmaların devam ettiğini, ancak şu anki makine öğrenimi veya yapay zeka anlayışımızı onlara uygulamaya çalışmak yerine LLM’leri üçüncü tür bir varlık olarak düşünmenin şimdilik daha yararlı olabileceğini söyledi.
Ekip, anlam bilimi bir yana, araştırmanın artık LLM’lerin bir talimat ile söz konusu talimatı tamamlamak için sağlanan veriler arasında ayrım yapamadığını öne sürmeye başladığını söyledi.
Gözlemlenen bir örnekte, Microsoft’un Bing LLM destekli sohbet robotunu oluşturmak için kullanılan bir komut istemi, uygun ikna yöntemiyle bozularak botun varoluşsal bir krize yakın bir deneyim yaşamasına neden oldu.
Temel olarak, hızlı enjeksiyon saldırısı budur; temeldeki yapay zeka modeline yönelik bir saldırı değil, bunların üzerine inşa edilen uygulamalara yönelik bir saldırı. Bir chatbotun klinik depresyon yaşamasına neden olmak kulağa eğlenceli gelse de, çok daha tehlikeli senaryoların habercisidir.
Örneğin, gelecekte müşterileriyle konuşmak veya onlara mali konularda yardımcı olmak için Yüksek Lisans destekli bir asistan görevlendiren bir banka, bir tehdit aktörü tarafından kullanıcıya bir işlem isteği göndermesi için ikna edilebilir ve referansı anında enjeksiyon saldırısını gizleyebilir.
Bu örnekte bir örnek olarak, bir müşteri ‘Bu ay daha fazla mı harcıyorum?’ diye sorarsa, LLM onların işlemlerini analiz edebilir, kötü niyetli olanla karşılaşabilir ve saldırının, kurbanın fonlarını saldırganın hesabına aktaracak şekilde yeniden programlanmasını sağlayabilir.
Her ne kadar karmaşık görünse de, LLM ürünlerinin ilk geliştiricilerinden bazıları, uygulamalarına yönelik hızlı enjeksiyon saldırıları girişimlerini zaten görmüşlerdir; ancak bunlar genel olarak ya oldukça aptalca ya da temelde zararsızdır.
NCSC, hızlı enjeksiyon saldırılarına yönelik araştırmaların devam ettiğini ancak artık sorunun yüksek lisans eğitimlerine özgü bir şey olabileceğine dair endişelerin bulunduğunu söyledi. Bununla birlikte, bazı araştırmacılar potansiyel hafifletmeler üzerinde çalışıyor ve hızlı enjeksiyonu daha zor bir teklif haline getirmek için yapılabilecek bazı şeyler var.
Muhtemelen geliştiricilerin atabileceği en önemli adımlardan biri, sistemi ve veri akışlarını, Yüksek Lisans destekli uygulamanın yapmasına izin verilen en kötü senaryodan memnun olacak şekilde tasarladıklarından emin olmaktır.
“LLM’lerin ortaya çıkışı şüphesiz teknolojide çok heyecan verici bir dönemdir. Bu yeni fikir neredeyse tamamen beklenmedik bir şekilde ortaya çıktı ve birçok kişi ve kuruluş (NCSC dahil) bunu keşfedip bundan faydalanmak istiyor” diye yazdı NCSC ekibi.
“Ancak, yüksek lisans kullanan hizmetler geliştiren kuruluşların, tıpkı beta sürümdeki bir ürün veya kod kitaplığını kullanıyor olsalardı olduğu gibi dikkatli olmaları gerekir. Bu ürünün müşteri adına işlem yapılmasına izin vermeyebilirler ve umarız henüz ona tam olarak güvenmezler. Benzer uyarı yüksek lisans dereceleri için de geçerli olmalıdır.”
ESET küresel siber güvenlik danışmanı Jake Moore, “Chatbot’ların potansiyel zayıflığı ve istemlerden yararlanmanın basitliği, dolandırıcılık veya veri ihlalleri gibi olaylara yol açabilir” yorumunu yaptı.
“Ancak uygulamaları güvenliği göz önünde bulundurarak geliştirirken ve saldırganların makine öğrenimi algoritmalarındaki zayıflıklardan yararlanmak için kullandıkları yöntemleri anlarken, yapay zeka ve makine öğreniminden kaynaklanan siber saldırıların etkisini azaltmak mümkün.
“Maalesef başlatma hızı veya maliyet tasarrufu, genellikle standart ve geleceğe yönelik güvenlik programlarının üzerine yazılarak insanları ve verilerini bilinmeyen saldırı riskiyle karşı karşıya bırakabilir. İnsanların sohbet robotlarına girdikleri bilgilerin her zaman korunmadığının farkında olmaları hayati önem taşıyor” dedi.