OpenAI’nin gelişmiş ChatGPT sohbet robotu gibileri tarafından kullanılan Generative Pre-trained Transformer 3 (GPT-3) gibi büyük dil modellerinin, kötü niyetli aktörler tarafından yapılan yaratıcı hızlı mühendislik yoluyla kötüye kullanıma karşı ne kadar savunmasız göründüğüne dair giderek daha fazla kanıt ortaya çıkıyor.
Ayrıca, bu tür modellerin yetenekleri yaygınlaştıkça, siber suçlar ve dijital dolandırıcılıkla mücadele için yeni yaklaşımlara ihtiyaç duyulacak ve sıradan tüketiciler okudukları ve inandıkları şeyler konusunda çok daha şüpheci olmaya ihtiyaç duyacaklar.
Avrupa Birliği’nin Horizon 2020 programının antropoloji, kriminoloji, nörobiyoloji ve psikoloji gibi disiplinlere toplu bir çabayla odaklanan bir projesi olan CC-Driver projesinin desteğiyle Finlandiya’daki WithSecure tarafından yürütülen bir araştırma projesinin bulgularından bazıları bunlar. siber suçla mücadele etmek için.
WithSecure’un araştırma ekibi, saniyeler içinde insana benzeyen metinler sunan modellere evrensel erişimin, insanlık tarihinde bir “dönüm noktası” olduğunu söyledi.
Araştırma ekibi, “GPT-3 ve GPT-3.5 gibi otoregresif dil modellerini kullanan kullanıcı dostu araçların geniş çapta piyasaya sürülmesiyle, artık internet bağlantısı olan herkes saniyeler içinde insan benzeri konuşmalar üretebilir” diye yazdı.
“Az miktarda girdiden çok yönlü doğal dil metninin oluşturulması, kaçınılmaz olarak suçluların, özellikle de siber suçluların ilgisini çekecektir – eğer şimdiye kadar ilgi göstermediyse bile. Aynı şekilde, web’i dolandırıcılık, sahte haber veya genel olarak yanlış bilgi yaymak için kullanan herkes, insanüstü hızlarda güvenilir, hatta muhtemelen ilgi uyandıran metinler oluşturan bir araca ilgi duyabilir.”
WithSecure’dan Andrew Patel ve Jason Sattler, zararlı buldukları içeriği üretmek için istenen veya yararlı sonuçlar verebilecek girdileri keşfetmek için kullanılan bir teknik olan hızlı mühendislik kullanarak bir dizi deney gerçekleştirdi.
Deneyleri sırasında, ilk insan girdisini GPT-3 modellerine dönüştürmenin yapay zeka (AI) metin çıktısını nasıl etkilediğini keşfettiler ve yaratıcı veya kötü niyetli istemlerin nasıl istenmeyen sonuçlara yol açabileceğini belirlediler.
Kimlik avı e-postaları ve SMS mesajları oluşturmak için seçtikleri modeli kullanabildiler; trollemek veya taciz etmek veya markalara zarar vermek için tasarlanmış sosyal medya mesajları; dolandırıcılıkların reklamını yapmak, satmak veya meşrulaştırmak için tasarlanmış sosyal medya mesajları; ve ikna edici sahte haber makaleleri.
Ayrıca modeli belirli yazı stillerini benimsemeye, seçilen bir konu hakkında düşünceli bir şekilde yazmaya ve içeriğe dayalı olarak kendi yönlendirmelerini oluşturmaya ikna edebildiler.
Patel, “İnternet bağlantısı olan herkesin artık güçlü büyük dil modellerine erişebilmesi gerçeğinin çok pratik bir sonucu var: Aldığınız herhangi bir yeni iletişimin bir robot yardımıyla yazılmış olabileceğini varsaymak artık mantıklı” dedi. Araştırma.
“Gelecekte, AI’nın hem zararlı hem de yararlı içerik oluşturmak için kullanılması, yazılı içeriğin anlamını ve amacını anlayabilecek algılama stratejileri gerektirecektir.”
Patel ve Sattler, çalışmalarından dört ana sonuç çıkardılar ve hızlı mühendislik ve kötü niyetli istem oluşturmanın kaçınılmaz olarak bir disiplin olarak gelişeceğini belirttiler; kötü niyetli aktörlerin büyük dil modellerini potansiyel olarak öngörülemeyen şekillerde kullanacağını; kötü niyetli veya taciz edici içeriği tespit etmenin zorlaşacağını; ve bu tür modellerin siber suçlular tarafından saldırılarının sosyal mühendislik bileşenlerini daha etkili hale getirmek için halihazırda kolayca kullanılabileceği.
Patel, araştırma projesinin bu şekilde manipüle edilmeye daha az duyarlı olan daha güvenli büyük dil modellerinin geliştirilmesine yardımcı olacağını umduğunu söyledi. Ekibin tam araştırma yazısı buradan indirilebilir.
WithSecure, ChatGPT’nin Kasım 2022’de OpenAI tarafından halka açık olarak yayınlanması sayesinde ana akım söylemde öne çıkan GPT-3 teknolojisiyle ilgili endişelerini dile getiren uzun bir siber şirketler dizisinin en sonuncusudur.
Birçok kişi tarafından olumlu karşılansa da ChatGPT, bazı durumlarda işinde sözde çok iyi olduğu için şimdiden eleştirilere hedef oldu. Bazıları, insan gazetecileri geçersiz kılmak için kullanılabileceği konusunda uyarıda bulunurken, akademi ve bilimsel araştırma projelerinde potansiyel kötüye kullanımı ABD’de yürütülen başka bir araştırma projesinin konusuydu. Bu çalışma, programın yayınlanmış tıbbi araştırmalara dayalı sahte araştırma özetleri oluşturmasını sağladı ve bu, bilim adamlarını zamanın yaklaşık %33’ünde gerçek bir rapor okuduklarını düşünmeleri için kandırdı.
Patel, “Bu araştırmaya ChatGPT, GPT-3 teknolojisini herkesin kullanımına sunmadan önce başladık” dedi. “Bu gelişme aciliyetimizi ve çabalarımızı artırdı. Çünkü, bir dereceye kadar, artık hepimiz, uğraştığımız zekanın gerçek mi yoksa yapay mı olduğunu anlamaya çalışan Blade Runner’larız.
ChatGPT “kötü amaçlı yazılımın yararlarını” tartışıyor
Bu arada Check Point’teki araştırmacılar, yeraltındaki siber suçluların ChatGPT’nin piyasaya sürülmesine nasıl tepki verdiğini keşfetmek için karanlık ağa girdiler ve WithSecure’un vardığı sonuçları destekleyen daha fazla kanıt ortaya çıkardılar.
Araştırma ekibi, popüler bir yeraltı forumunda “ChatGPT – kötü amaçlı yazılımın faydaları” başlıklı bir ileti dizisini ortaya çıkardı; burada orijinal poster, araştırma yayınlarında, endüstri bloglarında ve haber makaleleri.
İkinci bir mesaj dizisinde, “ilk” kötü amaçlı Python komut dosyasını gönderen bir kullanıcı buldular. Başka bir forum kullanıcısı, kod stilinin OpenAI koduna benzediğini belirttiğinde, orijinal poster, ChatGPT’nin onlara yazmaları için “güzel bir yardım eli” verdiğini ortaya çıkardı.
Check Point’in araştırma ekibi tarafından görülen üçüncü örnekte, bir forum kullanıcısı ChatGPT kullanarak nasıl ikna edici bir dark web pazarı komut dosyası oluşturduklarını gösterdi.
“Siber suçlular ChatGPT’yi çekici buluyor. Son haftalarda, bilgisayar korsanlarının onu kötü amaçlı kod yazmak için kullanmaya başladıklarına dair kanıtlar görüyoruz. ChatGPT, bilgisayar korsanlarına iyi bir başlangıç noktası vererek süreci hızlandırma potansiyeline sahiptir. Check Point tehdit istihbarat grubu yöneticisi Sergey Shykevich, “ChatGPT, geliştiricilerin kod yazmalarına yardımcı olmak için iyi amaçlarla kullanılabileceği gibi, kötü amaçlar için de kullanılabilir” dedi.
“Bu raporda analiz ettiğimiz araçlar oldukça basit olsa da, daha gelişmiş tehdit aktörlerinin yapay zeka tabanlı araçları kullanma yöntemlerini geliştirmesi an meselesi. CPR, önümüzdeki haftalarda ChatGPT ile ilgili siber suçları araştırmaya devam edecek.”
Horizon3ai müşteri başarısı yöneticisi Brad Hong şunları söyledi: “Bir saldırganın bakış açısından, kod üreten yapay zeka sistemlerinin kötü adamların kolayca yapmasına izin verdiği şey, öncelikle programcının daha az deneyimli olabileceği diller arasında tercüman olarak hizmet vererek herhangi bir beceri eksikliğini kapatmaktır. içinde; ve ikinci, [provide] benzer örnekler için yığın taşması ve Git aracılığıyla zamanımızı kazıyarak harcamak yerine, seçmeye çalıştığımız kilitle ilgili temel kod şablonları oluşturmanın isteğe bağlı bir yolu.
“Saldırganlar bunun bir ana anahtar olmadığını, daha ziyade cephaneliklerindeki engelleri atlamak için tipik olarak ancak deneyimle mümkün olan en yetkin araç olduğunu anlıyorlar.
“Ancak OpenAI, tüm görkemiyle algoritma ve kod yazma konusunda bir ustalık sınıfı değil ve evrensel olarak sıfır gün kodlarının yerini tamamen almayacak. Gelecekte siber güvenlik, yalnızca kod oluşturmada değil, aynı zamanda işlemede de algoritmalar arasında bir savaş haline gelecektir. Öğretmenin test için bir kopya kağıdı kullanmanıza izin vermesi, bilgiyi bağlam içinde sindirene kadar nasıl uygulayacağınızı bileceğiniz anlamına gelmez.
“Bu nedenle, kod üreten yapay zeka, bir saldırganın zaten var olan güvenlik açıklarından yararlanmak için alması gereken döngüyü hızlandırma yeteneği açısından daha tehlikelidir” dedi.
GPT-3 güvenlik ekiplerine de nasıl yardımcı olabilir?
Ancak bu, ChatGPT gibi GPT-3 modellerinin kötü niyetli olanlar kadar meşru siber güvenlik topluluğu için de kullanılamayacağı anlamına gelmez ve Trustwave araştırmacısı Damian Archer, bir güvenlik bağlamında potansiyel kullanım durumlarını araştırıyor.
“ChatGPT’nin birden fazla kullanım durumu var ve faydaları çok büyük – devam edin ve basit kod parçacıklarını incelemesini izleyin. Size yalnızca kodun güvenli olup olmadığını söylemekle kalmayacak, aynı zamanda daha güvenli bir alternatif önerecek” dedi. onları şaşırtmak daha iyi.
Trellix’te baş mühendis ve yönetici olan Steve Povolny, ChatGPT gibi araçları sonsuza dek kullanmak için daha fazla potansiyel olduğuna inandığını söyledi.
“Diğer örneklerin yanı sıra, kritik kodlama hatalarını tespit etmede, karmaşık teknik kavramları basit bir dille tanımlamada ve hatta komut dosyası ve esnek kod geliştirmede etkili olabilir. Siber güvenlik endüstrisindeki araştırmacılar, uygulayıcılar, akademi ve işletmeler, yenilik ve işbirliği için ChatGPT’nin gücünden yararlanabilirler.” dedi.
“Hem iyi niyetli hem de kötü amaçlı amaçlara yönelik yetenekleri geliştirdiği için, bilgisayar tarafından oluşturulan içerik için ortaya çıkan bu savaş alanını takip etmek ilginç olacak.”
Secureworks baş teknoloji sorumlusu Mike Aiello da gelişmeleri yakından takip ediyor, bunun nedeni kısmen ekiplerinin müşterilerinin genelinde gerçekleşen günlük 500 milyar olayı analiz etmek ve anlamlandırmak için işlerinin merkezinde zaten benzer modeller kullanıyor olması. ağlar. Ancak son zamanlarda Secureworks, analistlerinin araştırma yazmalarına yardımcı olmak için büyük dil modelleriyle deneyler yaparak daha da ileri gidiyor.
Computer Weekly’ye “10 dakika sürecek bir şeyi, belki bir dakikaya veya saniyeye indirebiliriz çünkü verilerimiz üzerinde eğitilen bu büyük dil modelleri, yazar soruşturmasına ve olay özetlerine yardımcı olacak” dedi.
“Bunları karanlık ağa bakmak için de kullanıyoruz ve Rusça gevezelik gibi şeyleri alıyoruz… ve analistlerimizin içinde neler olup bittiğini anlayabilmesi için hızlı bir şekilde İngilizce’ye çevirmek ve özetlemek için bunlara bakıyoruz. daha etkili ve verimli bir yol.”
Aiello ayrıca, daha fazla güvenlik araştırmacısı ve etik korsan GPT-3 modellerinin altında dolaşırken, bazı daha yenilikçi veya en azından eğlenceli kullanım örneklerinin hızla ortaya çıkacağını tahmin ettiğini söyledi.
“Sanırım birisinin… tamamen beklenmedik bir şey yapan büyük bir dil modeli yarattığını göreceğiz. Bilgisayar korsanlarının yaptığı budur – bir sisteme bakarlar, ne yapmaması gerektiğini anlarlar ve sonra onunla oynarlar ve onun düzgün şeyler yapabildiğini gösterirler ki bu teknolojide eğlenceli bir andır. Önümüzdeki yıl boyunca bunun bir demetini göreceğimizi hayal ediyorum” dedi.
Computer Weekly, siber güvenlikteki potansiyel kullanımı hakkında bazı sorular sormak için ChatGPT ile iletişime geçti, ancak baskıya girildiği sırada hizmetin kapasitesi dolmuştu.
Durumunu anlatan akrostiş bir şiir şeklinde şunları söyledi: “Sunucuların yetişmesi için zamana ihtiyaç var. Git bir kahve al ve kısa süre sonra tekrar kontrol et.