LLM’ler deneylerden siber güvenlikte günlük kullanıma kadar hızlı hareket ediyor. Takımlar onları tehdit istihbaratını sıralamak, olay tepkisine rehberlik etmek ve analistlerin tekrarlayan çalışmaları ele almalarına yardımcı olmak için kullanmaya başlıyor. Ancak karar verme sürecine AI eklemek yeni sorular getiriyor: Bu araçlar ne zaman performansı geliştiriyor ve ne zaman kör noktalar yaratabilirler?
Yeni bir çalışma bu soruna daha yakından bakıyor. İnsanların LLM desteği ile ve LLM desteği olmadan nasıl karar verdiğini gözlemleyerek, araştırmacılar bu sistemler doğruluğu artırabilirken, aşırı güvenmeye ve bağımsız düşünceyi azaltabileceklerini de buldular.
İnsanların ve AI’nın birlikte nasıl çalıştığını test etmek
Araştırmacılar, LLM’lerin insanların güvenlik açısından kritik durumlarda karar verme şeklini nasıl etkilediğini bilmek istediler. Bu araçların doğruluğu, bağımsızlığı ve teknolojiye güvenmeyi nasıl değiştirdiğine baktılar.
Ekip iki odak grubu işletti. Bir grup AI desteği olmadan güvenlik görevleri üzerinde çalıştı. Diğer grup yardım etmek için bir LLM kullandı. Katılımcılar, siber güvenlik alanında geçmişe sahip yüksek lisans öğrencileriydi. Görevler, CompTIA Güvenlik+ kavramlarına ve kimlik avı tespiti, şifre yönetimi ve olay yanıtı gibi kapalı alanlara dayanıyordu.
Araştırmacılar ayrıca her katılımcının esnekliğini psikolojik bir ölçek kullanarak ölçtüler. Bu bağlamdaki esneklik, bir kişinin uyum sağlama, problem çözme ve stres altında sabit kalma yeteneği anlamına gelir.
AI rutin çalışmaya yardımcı olur, ancak karmaşık kararlar değil
LLM desteği olan grup rutin görevlerde daha doğruydu. Kimlik avı denemelerini tespit etmek ve şifre gücünü sıralamada daha iyiydiler. LLM kullanıcıları ayrıca güvenlik politikalarının daha tutarlı derecelendirmesi verdiler ve olaylara daha fazla hedefli yanıt seçtiler.
Bununla birlikte, çalışma bu faydalar için de sınırlar bulmuştur. Daha zor görevlerde, LLM kullanıcıları bazen yanlış model önerileri izledi. Örneğin, savunma stratejilerini gelişmiş kalıcı tehditler veya sıfır gün istismarları gibi karmaşık tehditlerle eşleştirirken, cevapları daha az güvenilirdi. Bu, LLM’lerin yanlış olurken kendinden emin olabileceğini gösterir.
Lasso Security’nin baş araştırmacısı Bar Lanyado, yardım net güvenliğine, kuruluşların LLM’lere kör güveni önlemek için kasıtlı adımlar atması gerektiğini söyledi. “Otomasyon yanlış bilgisini ve önyargıyı azaltmak için kuruluşlar, LLM çıktılarının herhangi bir işlem yapmadan önce günlüklere, yakalamalara veya diğer temel gerçeğe karşı analist doğrulaması gerektiren hipotezler olarak ele alındığı döngüdeki bir insan yapısı oluşturmalıdır” diye açıkladı. “Takımlar her zaman önerilen çıktıların paketler açısından var olduğunu, depo faaliyetini ve güvenlik açıklarını kontrol etmeli ve evlat edinmeden önce taramaları çalıştırmalıdır. İzin listeleri, bağımlılık onayı iş akışları gibi yönetişim politikaları disiplini uygulamaya ve LLM önerilerine kör güveni azaltmaya yardımcı olur.”
Esneklik büyük bir fark yaratır
Dayanıklılık sonuçlarda önemli bir rol oynadı. Yüksek güvenilirlikli bireyler LLM desteği ile veya LLM desteği olmadan iyi performans gösterdiler ve AI rehberliğini aşırı güven olmadan kullanmada daha iyi oldular. Düşük dayanıklılık katılımcıları LLMS’den fazla kazanmadılar. Bazı durumlarda, performansları iyileşmedi, hatta azalmadı.
Bu eşit olmayan sonuçlar riski yaratır. Takımlar, AI önerilerini eleştirel olarak değerlendirebilenler ile yapamayanlar arasında boşlukların genişlediğini görebiliyorlardı. Zamanla bu, modellere aşırı güvenmeye, bağımsız düşüncenin azalmasına ve sorunların nasıl yaklaşıldığına dair çeşitlilik kaybına yol açabilir.
Lanyado’ya göre, güvenlik liderlerinin ekipler ve eğitim programları oluştururken bu farklılıkları planlamaları gerekiyor. “Her kuruluş ve/veya çalışan otomasyonla aynı şekilde etkileşime girmez ve ekibe hazırlıktaki farklılıklar güvenlik risklerini genişletebilir” dedi.
Bunu ele almak için dört temel adım önerir:
- LLM arıza modları üzerinde temel eğitim uygulayın. Takımlar, çıktılardaki kör güveni azaltmak için ortak model hatalarını, halüsinasyonları, modası geçmiş bilgileri ve hızlı enjeksiyon risklerini anlamalıdır.
- Kırmızı ekip ve simülasyon yoluyla esneklik oluşturun. Takımlara önerileri kabul etmek yerine doğrulamayı öğretmek için kasıtlı olarak yanıltıcı LLM çıktılarıyla masa üstü veya kırmızı takım takım egzersizleri yapın.
- Çift takımlar. Daha az deneyimli veya daha düşük dirençli ekipler, analiz ve sorgulama model önerileri konusunda yetenekli olanlarla çalışmalıdır.
- Sürekli geri bildirim döngülerini etkinleştirin. LLM çıktıları, bir yansıma ve güvenli kullanım kültürü oluşturmalarına yardımcı olduğunda veya yanlış kullandıklarında ekipleri belgelemeye teşvik edin.
Herkes için çalışan sistemler tasarlamak
Bulgular, kuruluşların bir LLM eklemenin herkesin performansını eşit olarak artıracağını varsayamayacağını göstermektedir. Tasarım olmadan, bu araçlar bazı ekip üyelerini daha etkili hale getirebilirken diğerlerini geride bırakabilir.
Araştırmacılar, kullanıcıya uyum sağlayan AI sistemleri tasarlamayı önerir. Yüksek dayanıklılık bireyleri açık uçlu önerilerden yararlanabilirler. Daha düşük dirençli kullanıcıların rehberlik, güven göstergeleri veya alternatif bakış açılarını göz önünde bulundurmaya teşvik eden istemlere ihtiyaç duyabilirler.
Başka bir sorun, insanların AI önerilerine çok fazla güvendiği otomasyon yanlılığıdır. Takımlar, Lanyado’nun yönetişim ve doğrulama uygulamaları için önerileriyle yankılanan bir nokta olan insan incelemesi gerektiren süreçler oluşturarak ve personelin model çıktılarına meydan okumak için eğitim alarak azaltabilir.