Hızlı enjeksiyon mühendisliğinde artış büyük dil modelleri (LLM’ler) Pazartesi günü CISO yuvarlak masa toplantısında tartışılan AI’nın istenmeyen bir sonucu olarak, kuruluşlar için önemli bir risk olarak ortaya çıkabilir. Panel sırasında gerçekleştirildi Purple Book Topluluk Bağlantısı–RSACbu hafta San Francisco’daki RSA Konferansında bir etkinlik.
Üç panelistten biri olan, uygulama güvenliği operasyonları platformu sağlayıcısı ArmorCode’un CISO’su Karthik Swarnam, kodun hızlı enjeksiyonundan kaynaklanan olayların kaçınılmaz olduğuna inanıyor. Swarnam, Dark Reading’e “Henüz görmedik ama geleceğini varsaymalıyız” diyor.
Sosyal Olarak Tasarlanmış Metin Uyarıları
Kötü niyetli yönlendirmeyle eğitilmiş LLM’ler, genellikle daha az saldırgan teknikler olan, sosyal olarak tasarlanmış mesajlarla sürekli metin uyarıları gönderen kodu tetikleyebilir. Bir kullanıcı farkında olmadan uyarıya yanıt verdiğinde LLM, yetkisiz veri paylaşımı gibi kötü amaçlı eylemleri tetikleyebilir.
Swarnam, “Hızlı mühendislik, şirketlerin daha fazla düşünmeye ve yatırım yapmaya başlaması gereken bir alan olacak” diyor. “İnsanları bu konunun temelleri konusunda eğitmeliler ki, onu nasıl uygun şekilde kullanacaklarını bilsinler, bu da olumlu sonuçlar doğuracaktır.”
Kroger ve AT&T’nin de aralarında bulunduğu birçok büyük işletmenin CISO’su olarak görev yapan Swarnam, konuyla ilgili endişelere rağmen şunları söylüyor: AI kullanmanın riskleriÇoğu büyük kuruluş, müşteri hizmetleri ve pazarlama gibi operasyonlar için bunu benimsemeye başladı. Yapay zekayı yasaklayanlar veya kullanmadıklarını iddia edenler bile muhtemelen “aşağı-düşük kullanım”dan habersizdirler.gölge yapay zekası“
Swarnam, “Tek yapmanız gereken ağ günlüklerinizi ve güvenlik duvarı günlüklerinizi incelemektir ve birisinin üçüncü taraf bir Yüksek Lisans veya halka açık Yüksek Lisans Programına gittiğini ve her türlü aramayı yaptığını göreceksiniz” diyor. “Bu, pek çok bilgiyi ortaya çıkarıyor. Şirketler ve güvenlik ekipleri saf değil, bu yüzden ‘Hayır’ demek yerine bunu fark ettiler. [to AI usage] ‘Evet’ diyorlar ama sınırlar koyuyorlar.”
Pek çok şirketin yapay zekayı benimsediği alanlardan biri de olay müdahalesi ve tehdit analitiğidir. Swarnam, “Güvenlik bilgileri ve etkinlik yönetimi, bu şeylerin kullanımıyla kesinlikle kesintiye uğruyor” diyor. “Aslında birinci seviyede ve çoğu durumda ikinci seviyede de önceliklendirmeyi ortadan kaldırıyor.”
Uygulama Geliştirmeye Yapay Zeka Ekleme
Swarnam, uygulama geliştirme araçlarında yapay zekayı kullanırken, CISO’lar ve CIO’ların, yeteneklerine ve risk toleranslarına bağlı olarak kuruluşları için ne tür kodlama yardımının pratik olduğunu belirlemeleri gerektiği konusunda uyarıyor. “Ve test etme yönlerini göz ardı etmeyin” diye ekliyor.
Liderlerin, kuruluşlarının nerede başarısız olduğunu tutarlı bir şekilde takip etmeleri ve bunu eğitimlerle güçlendirmeleri de önemlidir. Swarnam, “İhtiyaç duydukları şeylere, hata yaptıkları yerlere odaklanmalılar; geliştirme çalışmaları veya yazılım geliştirme yaparken sürekli zorluklarla karşılaşıyorlar” diyor.