Birleşik Krallık Ulusal Siber Güvenlik Merkezi (NCSC), ChatGPT gibi büyük dil modeli (LLM) algoritmalarına dayanan AI araçlarının kullanıcıları için bazı veri gizliliği riskleri sunmalarına rağmen şu anda o kadar da yararlı olmadıklarını söyleyerek tavsiye ve rehberlik yayınladı. onları siber suç faaliyetinin hizmetinde konuşlandırmaya gelince.
ABD’li startup OpenAI’nin 2022’nin sonunda ChatGPT’yi piyasaya sürmesinden bu yana LLM’lerin kullanımı katlanarak arttı.
LLM’ler, genellikle halka açık internetten açık izin alınmadan kazınan çok miktarda metin tabanlı veriyi birleştirerek çalışır. NCSC, bunu yaparken, tüm rahatsız edici veya yanlış içeriği filtrelemediklerini, yani potansiyel olarak tartışmalı içeriğin en baştan dahil edileceği anlamına geldiğini söyledi.
Algoritma daha sonra veri kümesindeki kelimeler arasındaki ilişkileri analiz eder ve bunları, chatbot istendiğinde bu ilişkilere dayalı bir yanıt sağlamak için kullanılan bir olasılık modeline dönüştürür.
“LLM’ler, birden fazla insan ve bilgisayar dilinde çok çeşitli inandırıcı içerik üretme yetenekleri açısından şüphesiz etkileyicidir. Ancak sihir değiller, yapay genel zeka değiller ve bazı ciddi kusurlar içeriyorlar” dedi NCSC araştırmacıları.
Örneğin, bu tür sohbet robotları genellikle yanlış anlar ve yanlış gerçekleri “halüsinasyon” olarak görülmüşlerdir. Önyargıya eğilimlidirler ve yönlendirici bir soru sorulduğunda genellikle çok saf olabilirler. Devasa bilgi işlem kaynaklarına ve geniş veri kümelerine ihtiyaçları var, ikincisinin elde edilmesi etik ve gizlilikle ilgili sorular ortaya çıkarıyor. Son olarak, dedi NCSC, toksik içerik oluşturmaya ikna edilebilirler ve enjeksiyon saldırılarına eğilimlidirler.
Araştırma ekibi ayrıca, LLM’lerin kendilerine sorulan sorgulardan öğrenmesi gerekmese de, sorguların genel olarak, hizmetini daha da geliştirmek için kullanabilecek olan modelin sahibi olan kuruluş tarafından görülebileceği konusunda uyardı. Barındıran kuruluş, gizlilik konusunda farklı bir yaklaşıma sahip bir kuruluş tarafından da satın alınabilir veya veri sızıntısıyla sonuçlanan bir siber saldırının kurbanı olabilir.
Hassas veriler içeren sorgular da endişe uyandırır – örneğin, bir AI chatbot’tan herkese açık olmayan bilgilerle yönlendirmeye dayalı olarak yatırım tavsiyesi isteyen biri, içeriden öğrenenlerin ticaretini ihlal edebilir.
Bu nedenle, NCSC, yapay zeka sohbet robotu kullanıcılarına, hizmetin kullanım şartları ve gizlilik politikaları hakkında tam olarak bilgi sahibi olmalarını ve hassas bilgileri bir sorguya dahil etme veya sorguları gönderme konusunda çok dikkatli olmalarını tavsiye ediyor. halka açık hale gelmek
NCSC ayrıca, bazı iş görevlerini otomatikleştirmek için LLM’leri kullanmayı düşünen kuruluşların, genel LLM’leri kullanmaktan ve barındırılan, özel bir hizmete yönelmekten veya kendi modellerini oluşturmaktan kaçınmasını önerdi.
LLM’lerin siber suçlu kullanımı
Geçtiğimiz birkaç ay, LLM’lerin kötü niyetli aktörlere faydası hakkında uzun tartışmalara sahne oldu, bu nedenle NCSC araştırmacıları, bu modellerin siber suçlular için hayatı kolaylaştırıp kolaylaştırmadığını da değerlendirdi.
LLM’lerin düşük vasıflı kişiler tarafından kötü amaçlı yazılım yazmak için nasıl kullanılabileceğine dair bazı “inanılmaz” gösteriler olduğunu kabul eden NCSC, şu anda LLM’lerin ikna edici görünmekten muzdarip olduğunu ve basit görevler için daha uygun olduğunu söyledi. Bu, sıfırdan başlayan birine yardım etmek yerine, sonuçları kendi başlarına doğrulayabildikleri için, zaten alanında uzman olan birine zaman kazandırma konusunda daha yararlı oldukları anlamına gelir.
Araştırmacılar, “Daha karmaşık görevler için, şu anda bir uzmanın kötü amaçlı yazılımı sıfırdan oluşturması, LLM’nin ürettiklerini düzeltmek için zaman harcamak yerine daha kolay,” dedi.
“Ancak, oldukça yetenekli kötü amaçlı yazılım oluşturma yeteneğine sahip bir uzmanın, bir LLM’yi yetenekli kötü amaçlı yazılım yazmaya ikna etmesi muhtemeldir. ‘Sıfırdan kötü amaçlı yazılım oluşturmak için LLM’leri kullanmak’ ile ‘LLM’ler tarafından oluşturulan kötü amaçlı yazılımları doğrulamak’ arasındaki bu değiş tokuş, LLM’ler geliştikçe değişecektir.”
Aynı şey, saldırganın kendi yeteneklerinin ötesinde siber saldırılar gerçekleştirmeye yardımcı olmak için LLM’leri kullanmak için de geçerli. Yine, şu anda burada yetersiz kalıyorlar çünkü ikna edici görünen cevaplar verseler de bunlar tamamen doğru olmayabilir. Bu nedenle, bir LLM, yanlışlıkla bir siber suçlunun tespit edilmesini kolaylaştıracak bir şey yapmasına neden olabilir. LLM operatörleri tarafından tutulan siber suçlu sorguları sorunu da burada önemlidir.
Ancak NCSC, LLM’lerin yazma stillerini kopyalamada ustalaştığını kanıtladığından, ikna edici kimlik avı e-postaları yazmak için kullanılma riskinin – belki de Rusça konuşanların İngilizce yazarken veya konuşurken yaptıkları bazı yaygın hatalardan kaçınarak – kabul etti. belirli makaleleri atmak gibi – daha acil.
Ekip, “Bu, yüksek teknik becerilere sahip ancak dil becerilerine sahip olmayan saldırganlara, ikna edici kimlik avı e-postaları oluşturmalarına veya hedeflerinin ana dilinde sosyal mühendislik yapmalarına yardımcı olarak yardımcı olabilir” dedi.