Olay ve İhlal Müdahalesi, Güvenlik Operasyonları
BT Varlık Yönetimi Şirketi, Etkilenen 8,5 Milyon Sistemin %93’ünün Tekrar Çevrimiçi Olduğunu Bildirdi
Mathew J. Schwartz (euroinfosec) •
23 Temmuz 2024
Hatalı bir CrowdStrike güncellemesi nedeniyle yaşanan Windows kesintilerinin beşinci gününde, BT uzmanlarının çöken sistemlerde önemli bir iyileşme olduğunu bildirmesiyle temkinli bir iyimserlik hakim.
ABD merkezli bir BT varlık yönetim platformu olan Sevco Security, pazartesi akşamı itibarıyla müşteri tabanındaki etkilenen CrowdStrike sistemlerinin %93’ünün düzeltildiğini, bu oranın cuma öğleden sonra %4 ve cuma gecesi %89 olduğunu bildirdi.
Ayrıca bakınız: Splunk, SIEM için Gartner® Magic Quadrant™’da 10 Kez Lider Olarak Adlandırıldı
Microsoft Pazar günü, istemciler, sunucular ve Hyper-V sanal makinelerinden oluşan 8,5 milyon Windows ana bilgisayarının hatalı bir CrowdStrike Falcon uç nokta algılama ve yanıt yazılımı “içerik güncellemesi” nedeniyle çöktüğünü tahmin etti. CrowdStrike, hatalı güncellemeyi Cuma günü 04:09 UTC’de – ABD’nin Doğu Yakası’nda gece yarısından hemen sonra – yayınladı ve bir saat sonra, 05:27 UTC’de düzeltilmiş bir güncellemeyle değiştirdi. O sırada çevrimiçi olan CrowdStrike Falcon çalıştıran herhangi bir sistem potansiyel olarak etkilendi.
Microsoft, bozulan sistemlerin aktif Windows sistemlerinin %1’inden azını oluşturduğunu söyledi, ancak CrowdStrike EDR ürününün müşterilerinin çoğu kritik altyapı sektörlerindeki daha büyük kuruluşlar olduğundan, etki bundan çok daha önemliydi. Bu, hastaneler ve doktor muayenehaneleri, büyük havayolları, demiryolları ve bankacılık ve borsalar dahil olmak üzere bozulan sektörlerin karışımıyla vurgulandı (bkz: CrowdStrike Kesinti Onarımı Zaman Alıyor).
Bazı kuruluşlar diğerlerinden daha fazla mücadele etmeye devam ediyor. Uçuş takip sitesi FlightAware’e göre, büyük ABD havayolu şirketi Delta, Pazartesi günü uçuşlarının %30’unun iptali ve kalan uçuşların yarısında gecikmeler de dahil olmak üzere günlerce kesintiyle karşı karşıya kaldı.
Hatalı kod güncellemesini alan sistemler sürekli bir döngüye takılıp kalıyordu: Kod nedeniyle Windows’un “mavi ekran” hatasıyla çökmesi, yeniden başlatılması ve ardından tekrar hatalı kodla karşılaşılıp tekrar çökmesi.
“Birden fazla yeniden başlatmaya rağmen Windows tabanlı AWS EC2 örneklerimizin çoğunda hala ulaşılabilirlik sorunları yaşıyoruz” dedi “Le7emesens” bir gönderide r/crowdstrike subreddit’te, etkilenen örnekleri düzeltebilecek AWS ve CrowdStrike için herhangi bir otomatik güncelleme olup olmadığını soruyor.
“Temel olarak, manuel kurtarmanın daha fazla iğrenç el işi yapmasını tercih etmiyoruz,” dedi Le7emesens. “Hafta sonumuz zaten berbattı. Eminim ki burada birçok kişiyi yansıtıyorum :).”
Birçok BT personeli sistemleri manuel olarak kurtarmak zorunda kaldıklarını bildiriyor. Hem CrowdStrike hem de Microsoft yardımcı olabilecek yardımcı programlar yayınladı. Fiziksel Windows ana bilgisayarları için, bu yardımcı programları çalıştırmak genellikle bunları önyüklenebilir bir USB sürücüsüne yüklemeyi ve etkilenen sisteme takmayı veya bir aygıtı ağa takmayı ve kurtarma için sunucu tabanlı bir Önyükleme Öncesi Yürütme Ortamı kullanarak hedeflemeyi gerektirir. Sonuç olarak, uzaktan veya hibrit çalışanlar düzeltmeyi almak için ofise gitmek zorunda kalabilir.
Microsoft’un BitLocker’ı gibi sabit diskte depolanan verileri korumak için tam disk şifrelemesi kullanan herhangi bir sistem için kurtarma işlemi ekstra zaman alacaktır, çünkü kurtarma yardımcı programı çalıştırılmadan önce kurtarma anahtarının girilmesi gerekir. Bazı kuruluşlar bu tür anahtarların kopyalarını merkezi olarak depolayabilir, ancak uzmanlar birçok durumda bunu yalnızca en kritik sunucuları ve diğer sistemleri için yaptıklarını ve bu nedenle etkilenen son kullanıcıların sistemleri için bunları derlemeleri gerektiğini söylüyor.
Bireysel kullanıcılar, farklı bir cihazda Microsoft hesaplarına giriş yaparak sistemlerinin kurtarma anahtarına erişebilirler.
CrowdStrike, kurtarma sürecine daha fazla son kullanıcıyı dahil edebilmek için pazartesi günü YouTube’da süreci adım adım anlatan beş dakikalık bir video yayınladı ve kullanıcıların öncelikle BT departmanlarından izin almaları gerektiğini belirtti.
“Bu işlem sırasında bazı kullanıcılar ‘BitLocker’ kurtarma anahtarı isteyen bir ekranla karşılaşabilir. Lütfen bu bilgiyi almak için BT departmanınıza ulaşın,” diyor video. “Bu, işlem boyunca birden fazla kez girmeniz gerekebilecek 48 basamaklı bir sayısal anahtardır. Ne yazık ki, bu biraz zaman alabilir.”
Etkilenen tüm Windows sistemlerine erişim kolay değildir; bu durum, sosyal medyada dolaşan, havaalanı kiosklarına ve diğer “sahadaki” sistemlere ulaşmak için merdiven tırmanan BT personelinin fotoğraflarıyla kanıtlanmıştır. Siber güvenlik uzmanları, son yıllarda dış kaynak kullanımının artmasının, bazı kuruluşların bu sistemleri dağıtmak ve hızla ulaşmak için hazırda daha az BT personeli olabileceği anlamına geldiğini söylüyor.
Zorluklara rağmen, çok sayıda siber güvenlik uzmanı CrowdStrike’ın sorun ortaya çıktıktan sonra hızlı hareket etmesini, düzeltme sürecine şeffaflık getirmesini ve özür dilemek için üst düzey yöneticileri öne çıkarmasını övdü (bkz: CrowdStrike’ın Kesintiye Yanıtı İş Kaybını En Aza İndirecek).
Halka açık siber güvenlik firmasının, hatalı yazılım içeriği güncellemesinden kaynaklanan kesintilerden ne kadar sorumlu tutulacağı henüz belli değil.
CrowdStrike Pazartesi günü ABD Menkul Kıymetler ve Borsa Komisyonu’na yaptığı Form 8-K başvurusunda, “Etkilenen müşterilerimizle sistemlerini tamamen eski haline getirmek için çalışmaya devam ediyoruz,” dedi. “Bu gelişen bir durum. Olayın işimiz ve operasyonlarımız üzerindeki etkisini değerlendirmeye devam ediyoruz.”