Melbourne Üniversitesi ve Imperial College London’dan araştırmacılar, halüsinasyon riskini azaltmaya odaklanarak olay müdahale planlamasını iyileştirmek için LLMS kullanma yöntemini geliştirdiler. Yaklaşımları, geri kazanım ve karar-teorik planlama ile birlikte daha küçük, ince ayarlı bir LLM kullanır.
Olay müdahale planlaması yönteminin üç adımı
Hedefledikleri sorun tanıdıktır: Olay yanıtı hala büyük ölçüde manuel, yavaş ve uzmanla yapılandırılmış oyun kitaplarına bağlıdır. Birçok kuruluş bir olaydan tamamen kurtulmak için haftalar hatta aylar alır. Bazıları yanıt eylemleri oluşturmak için Frontier LLM’leri denemelerine rağmen, bu modeller maliyetlidir, üçüncü taraf API’lere bağlıdır ve makul ama yanlış talimatlar üretmeye eğilimlidir.
Makalenin yazarlarından Kim Hammar, sistemin ağır entegrasyon engellerinden kaçınmak için tasarlandığını söyledi. “Teknik açıdan bakıldığında, yöntemimiz, herhangi bir ek yazılım veya mevcut sistemlerin uyarlanması gerekmeden doğrudan mevcut iş akışlarına entegre olmak için kasten tasarlanmıştır” diye açıkladı. “Özellikle, yöntemimiz Giriş Günlüğü Verileri ve Tehdit Bilgilerini ham metin formunda alır. Bu metnin belirli bir sözdizimini veya formatı izlemesi gerekmez.”
Üç Adımlı Yaklaşım
Yöntem üç ana adımda çalışır:
Talimat ince ayar: Ekip, her biri yanıt planları ve akıl yürütme adımlarıyla eşleştirilen 68.000 tarihi olaydan oluşan bir veri kümesinde 14 milyar parametreli bir LLM’yi ince ayarlıyor. Bu, modeli herhangi bir senaryoya kilitlemeden olay tepkisinin aşamaları ve hedefleri ile hizalar.
Bilgi Alma: Bir plan oluşturmadan önce, sistem sistem günlüklerinde bulunan göstergelere dayanarak ilgili tehdit istihbarat ve güvenlik açığı verilerini çeker. Bu, eğitim kesintisinden sonra keşfedilen güvenlik açıkları gibi yeni tehditlere uyum sağlamasına izin verir ve modelin çıktısını güncel bilgilere dayandırır.
Halüsinasyon filtreleme ile planlama: Sistem önerilen ilk eylemi yürütmek yerine, birden fazla aday üretir ve potansiyel sonuçları simüle etmek için LLM’yi kullanır. İlerleme kaydetmeyen yanıtları filtrelemek için bu LookaDead’i kullanarak en hızlı iyileşmeye yol açacağı öngörülen eylemi seçer.
Bir kullanıcının bakış açısından Hammar, yöntemin daha uyarlanabilir bir oyun kitabı gibi davranabileceğini söyledi. “Yanıt oyun kitaplarına dayanan mevcut iş akışlarına entegre olmalı” dedi. “Güvenlik operatörleri, önerilen eylemleri temel gerçeği yerine mevcut kanıtlara karşı doğrulanacak rehberlik olarak ele almalıdır.”
Teorik ve pratik sonuçlar
Makale, halüsinasyon olasılığının sınırlandırılabileceğini gösteren olasılıksal bir analiz sağlar. Planlama sürecine daha fazla zaman ve aday eylemlere izin verilirse olasılık keyfi olarak küçük hale getirilebilir. Bu, yaklaşımın hızlı bir sınır LLM’lerinden daha güvenilir olduğu iddiası için resmi bir temel sunar.
Pratik tarafta, yöntem emtia donanımında çalışacak kadar hafiftir ve pahalı API çağrıları veya özel altyapı ihtiyacını ortadan kaldırır. Yazarlar, sistemlerini halka açık olay veri kümelerini kullanarak birkaç sınır LLM ve takviye öğrenme taban çizgisine karşı değerlendirdiler. Tüm testlerde, test edilen en iyi performans gösteren sınır modelinden yüzde 22’ye kadar daha kısa ortalama iyileşme süreleri elde ederken, aynı zamanda etkisiz eylemleri ve başarısız geri kazanımları azaltır.
Hammar’a göre, sistemin yerel, bağımsız doğası da gizlilik ve uyumluluk endişelerini ele alıyor. “Hafif yöntemimizin temel yararı, harici LLM sağlayıcılarına güvenmeden yerel olarak çalışmasıdır” dedi. “Bu esneklik maliyetleri azaltır ve potansiyel olarak hassas günlük verilerini üçüncü taraf LLM sağlayıcılarına yükleme ihtiyacını önler.”
Bir ablasyon çalışması, üç adımın da performans kazanımlarına katkıda bulunduğunu, ince ayar ve planlama ile en büyük iyileştirmeleri sağladığını doğruladı. Geri alınan artmış nesil de etkisi daha küçük olmasına rağmen yardımcı oldu.
Ödünleşmeler ve hususlar
Yaklaşım olaya özgü yeniden eğitilmeyi önler ve güvenilirliği artırır, ancak ek yük vardır. Planlama adımı, birden fazla eylemin üretilmesini ve değerlendirilmesini gerektirdiği için çıkarım süresini artırır. Yazarlar bunun paralel işleme ile hafifletilebileceğini belirtiyor.
Yöntem özellikle hızlı bir reaksiyonun kritik olduğu ve log verilerinin karmaşık olduğu durumlar için yararlıdır. Hammar böyle bir kullanım durumunu açıkladı: “Sabah 2 ve SIEM’iniz potansiyel bir olayı tespit ediyor. Çağrı üzerine güvenlik operatörünüz belirli sorunu belirlemek, nedeni belirlemek ve mümkün olduğunca çabuk çözmek için sayfalanmıştır. Gösterge tabloları arasında atlamak ve çoklu uygulama ve altyapı katmanlarında olayı manuel olarak izlemek, LLM tabanlı yöntemimizin yorumlama ve hedeflenen yanıt eylemlerini önerir.
Öte yandan, bazı senaryoların daha az fayda göreceğini kabul etti. “Acil eylemin kritik olmadığı olaylar yöntemimizden daha az fayda sağlayabilir” dedi. “Derin uzman analizi gerektiren son derece yeni veya sofistike saldırılar sadece yanıtın ilk aşamalarında fayda sağlayabilir.”
Bir başka kilit nokta da sistemin insan yargısının yerini almayı amaçlamamasıdır. Hammar önümüzdeki birkaç yılı insan gözetiminin gerekli kalacağı bir dönem olarak görüyor. “Önümüzdeki birkaç yıl içinde tamamen özerk olay yanıtı gerçekçi değil çünkü herkesin ağı, saldırıları, güvenlik ortamları ve düzenlemeleri farklı” dedi. “Karar desteği araçları, manuel olarak yapıldıktan sonra görevleri sürekli olarak ele geçiriyor ve operatörün rolünü büyük miktarlarda kütük ve güvenlik uyarılarından elemek yerine sistemi yönlendirmeye ve doğrulamaya yönlendiriyor.”
Ekip, ince ayarlı modellerini, eğitim verilerini, kodlarını ve bir gösteri videosunu açık kaynaklı kaynaklar olarak yayınladı. Bu, daha fazla deney ve operasyonel denemeler sağlar. Gelecekteki çalışmaları gerçek dünyadaki SOC iş akışlarında test etmek, teorik halüsinasyon sınırlarını geliştirmek ve planlama sürecini daha gelişmiş arama teknikleri kullanmak için genişletme konusunda görüyorlar.
Operasyonel ortamlarda kanıtlanmışsa, yaklaşım güvenlik ekiplerine pahalı sınır LLM’lerine veya katı oyun kitaplarına güvenmeden triyaj yapmak ve olayları içermek için daha duyarlı ve uygun maliyetli bir yol verebilir.