GitGuardian'ın geliştiricisi ve güvenlik savunucusu Mackenzie Jackson, geçen hafta Bsides Zagreb'de izleyicilere “En temel düzeyde, yapay zeka kötü niyetli saldırganlara süper güçler verdi” dedi.
Bu süper güçler, Kasım 2022'de ChatGPT'nin kullanıma sunulmasından bu yana balık tutma, vurma ve avlama saldırılarının artan etkisinde açıkça görülüyor.
Ayrıca FraudGPT, WormGPT, DarkBARD ve White Rabbit (birkaç örnek vermek gerekirse) gibi tehdit aktörlerinin kötü amaçlı kod yazmasına, kimlik avı sayfaları ve mesajları oluşturmasına, sızıntıları ve güvenlik açıklarını belirlemesine, bilgisayar korsanlığı araçları oluşturmasına ve daha fazlasına olanak tanıyan kötü amaçlı LLM'ler de vardır. .
Yapay zekanın saldırıları daha karmaşık hale getirmediğini ancak saldırıları daha fazla sayıda insan için daha erişilebilir hale getirdiğini söylüyor.
Yapay zeka destekli saldırı potansiyeli
Geleceğin bizim için hazırladığı tüm yapay zeka destekli saldırı türlerini hayal etmek imkansız. Jackson şu anda öngörebildiğimiz bazı saldırıların ana hatlarını çizdi.
Bunlardan biri, ChatGPT destekli bir e-posta asistanına yönelik hızlı enjeksiyon saldırısıdır; bu saldırı, saldırganın asistanı, tüm e-postaları silmek veya saldırgana iletmek gibi eylemleri gerçekleştirmesi için manipüle etmesine izin verebilir.
ChatGPT'nin doğrudan var olmayan bir yazılım paketi icat etmesiyle sonuçlanan bir sorgudan ilham alan Jackson, ayrıca bir saldırganın, birçok geliştiricinin arayabileceği (ancak şu anda) kötü amaçlı yazılım yüklü paketler oluşturarak LLM'lerin “halüsinasyon” eğiliminden yararlanabileceğini öne sürdü. mevcut değil).
Acil tehditler
Ancak şu anda daha acil tehditlerle karşı karşıya olduğumuzu ve bunlardan birinin hassas veri sızıntısı olduğunu söylüyor.
İnsanların istemlere sıklıkla hassas veriler eklemesi nedeniyle sohbet geçmişleri, siber suçlular için çekici bir hedef haline geliyor.
Ne yazık ki, bu sistemler verileri güvence altına almak için tasarlanmamıştır; ChatGTP'nin kullanıcıların sohbet geçmişini ve hatta kişisel ve fatura verilerini sızdırdığı durumlar olmuştur.
Ayrıca veriler bu sistemlere girildiğinde çeşitli veritabanlarına “yayılabilir” ve bu da kontrol altına alınmasını zorlaştırabilir. Temel olarak, bu tür sistemlere girilen veriler, farklı platformlardan sürekli olarak erişilebilir durumda kalabilir.
Ayrıca sohbet geçmişi devre dışı bırakılabilse de verilerin bir yerde saklanmadığının garantisinin olmadığını belirtti.
Birisi bariz çözümün iş ortamlarında yüksek lisans (LLM) kullanımının yasaklanması olacağını düşünebilir, ancak bu seçeneğin çok fazla dezavantajı vardır.
Jackson, yüksek lisans eğitimlerini iş için kullanmalarına izin verilmeyenlerin (özellikle teknoloji alanında) muhtemelen yeteneklerinin gerisinde kalacağını savunuyor.
İkinci olarak, insanlar işletmelerde Yüksek Lisans (LLM) kullanmalarına olanak sağlayacak diğer seçenekleri (VPN'ler, farklı sistemler vb.) arayacak ve bulacaktır.
Bu, potansiyel olarak kuruluşlar için başka bir önemli riske kapı açabilir: gölge yapay zeka. Bu, LLM'nin hâlâ kuruluşun saldırı yüzeyinin bir parçası olduğu ancak artık görünmez olduğu anlamına gelir.
Kuruluşunuzu nasıl korursunuz?
Bir kuruluşu yapay zeka kullanımıyla ilişkili risklerden korumak söz konusu olduğunda Jackson, gerçekten güvenliğin temellerine geri dönmemiz gerektiğine dikkat çekiyor.
İnsanlara işleri için uygun araçlar verilmeli, ancak aynı zamanda Yüksek Lisans'ı güvenli bir şekilde kullanmanın önemini anlamaları da sağlanmalıdır.
Ayrıca şunları da tavsiye ediyor:
- Kimlik avı korumalarını uygulamaya koyun
- Fidye almamak için sık sık yedekleme yapın
- Kişisel bilgilerin çalışanların erişimine açık olmadığından emin olun
- Veri sızıntısını önlemek için ağda sır tutmaktan kaçının
- Yapay zeka halüsinasyonlarının kötüye kullanılmasını ve yazım hatası saldırılarını önlemek için yazılım kompozisyon analizi (SCA) araçlarını kullanın
Sisteminizin hızlı enjeksiyona karşı korunduğundan emin olmak için, programcı Simon Willison tarafından önerildiği gibi çift LLM uygulamasının iyi bir fikir olabileceğine inanıyor.
Jackson, risklere rağmen yapay zekanın vazgeçilemeyecek kadar değerli olduğuna inanıyor.
Yapay zeka araç setlerini kullanan şirketlerin ve startupların sayısının artacağını, bunun da olası veri ihlallerine ve tedarik zinciri saldırılarına yol açacağını öngörüyor. Bu olaylar, yapay zekanın hızlı gelişimi nedeniyle şu anda eksik olan daha iyi mevzuata, daha iyi araçlara, araştırmalara ve yapay zekanın etkilerinin anlaşılmasına olan ihtiyacı artırabilir. Buna ayak uydurmak artık bir zorluk haline geldi.