Ateş altında olan siber güvenlik firması CrowdStrike, 19 Temmuz’da milyonlarca Microsoft cihazının çökmesine ve küresel kaosa yol açan güncellemeyle ilgili daha fazla bilgi içeren ilk olay sonrası incelemesini yayınladı.
Şirket, 24 Temmuz’da yayınlanan bir güncellemede, Cuma sabahının erken saatlerinde Windows ana bilgisayarlarındaki Falcon sensörü için bir içerik yapılandırması güncelleştirmesi yayınlamaya çalıştığını bildirdi.
Bu ‘hızlı yanıt’ güncellemesi, Falcon platformunun siber tehdit algılama ve düzeltme faaliyetini yürütmek için kullandığı normal dinamik koruma mekanizmalarının bir parçasını oluşturuyordu. Esasen, güncellemeler CrowdStrike tarafından tehdit aktörü davranışının yeni göstergelerini belirlemek ve algılama ve önleme yeteneklerini geliştirmek için kullanılıyor.
Bu tür bulut tabanlı güncellemeler normalde kendilerine herhangi bir dikkat çekmeden geçerdi. Ancak bu güncelleme, o sırada çevrimiçi olan Falcon sensör 7.11 ve üzerini çalıştıran Windows ana bilgisayarlarının çökmesine neden oldu.
Aslında oyundaki sorun, Falcon sensör sürümü 7.11’in adlandırılmış boruları (bir istemci-sunucu iletişim kanalı) kötüye kullanan yeni bir saldırı tekniğini tespit etmek için şablonlar içeren Şubat 2024’e kadar uzanıyor. Bu şablonlar daha sonra stres testine tabi tutuldu ve üretime sunulmadan önce kullanım için doğrulandı. Sonraki haftalarda yine herhangi bir olay olmadan üç şablon örneği daha dağıtıldı.
19 Temmuz’a hızlıca ilerleyelim, aynı saldırı tekniği için iki ek şablon örneği dağıtılmak üzere sıraya dizildi. Ancak CrowdStrike, bu sefer güncellemeleri kontrol etmek için kullanılan otomatik bir içerik doğrulayıcısındaki bir hatanın, bunlardan birinin “sorunlu içerik verileri içermesine rağmen” doğrulama kontrollerini geçmesini sağladığını söyledi.
Mart ayında gerçekleştirilen testlere dayanarak dağıtıldı, ancak alındığında ve yüklendiğinde, kanal dosyası 291’deki bu sorunlu içerik, Windows işletim sistemlerini alt üst eden bir istisnayı tetikleyen, sınır dışı bellek koşuluna neden oldu.
Hatalı güncelleme, CrowdStrike tarafından geri alınmadan önce bir buçuk saatten biraz fazla bir süre boyunca, Cuma günü 04:09 UTC ile 05:27 UTC (5:09 BST ile 06:27 BST) arasında yayınlandı; ancak bu süre, dünya çapında sekiz milyondan fazla cihazın çökmesine ve fotoğrafları dünyanın dört bir yanına yayılan meşhur mavi ölüm ekranının görüntülenmesine yetecek kadar uzundu.
CrowdStrike CEO’su George Kurtz, müşterilerinden ve etkilenen diğer kişilerden, aralarında uçuşları geciken ve iptal edilen binlerce kişinin de bulunduğu kişilerden bir kez daha özür diledi.
Kurtz, “CrowdStrike’ın tamamı durumun ciddiyetini ve etkisini anlıyor. Sorunu hızla tespit ettik ve bir düzeltme uyguladık, bu da en yüksek önceliğimiz olan müşteri sistemlerini geri yüklemeye odaklanmamızı sağladı” dedi.
Kurtz ayrıca ne kendisinin ne de Microsoft’un herhangi bir siber saldırıya maruz kalmadığını yineleyerek, Linux ve Mac bilgisayarlarının etkilenmediğini vurguladı.
“CrowdStrike normal şekilde çalışıyor ve bu sorun Falcon platform sistemlerimizi etkilemiyor. Falcon sensörü takılıysa herhangi bir koruma etkilenmez. Falcon Complete ve Falcon OverWatch hizmetleri kesintiye uğramaz” dedi.
“Size ve ekiplerinize yardımcı olmak için CrowdStrike’ın tamamını harekete geçirdik. Sorularınız varsa veya ek desteğe ihtiyacınız varsa lütfen CrowdStrike temsilcinize veya Teknik Destek ekibine ulaşın.
“Rakiplerin ve kötü niyetli kişilerin bu gibi olayları istismar etmeye çalışacağını biliyoruz. Herkesi uyanık olmaya ve resmi CrowdStrike temsilcileriyle etkileşimde olduğunuzdan emin olmaya teşvik ediyorum. Blogumuz ve teknik desteğimiz en son güncellemeler için resmi kanallar olmaya devam edecektir.
Kurtz şunları ekledi: “Müşterilerimizin ve ortaklarımızın CrowdStrike’a duyduğu güven ve inançtan daha önemli hiçbir şey yok. Bu olayı çözerken, bunun nasıl gerçekleştiği ve bunun gibi bir şeyin tekrar olmasını önlemek için attığımız adımlar konusunda tam şeffaflık sağlama taahhüdüm var.”
Sonra ne olur?
CrowdStrike, böyle bir olayın tekrar yaşanmasını önlemek için kapsamlı bir ön plan hazırladı.
Bu, daha fazla geliştirici testi, güncelleme ve geri alma testi, stres testi, bulanıklaştırma ve hata enjeksiyonu, kararlılık testi ve içerik arayüzü testi gerçekleştirerek hızlı yanıt güncellemelerinin dayanıklılığını iyileştirmeyi içerir. İçerik doğrulayıcı sistemine daha fazla doğrulama kontrolü eklenecek ve kurulumunun diğer bileşenlerinin mevcut hata işlemeleri iyileştirilecek.
Gelecekteki hızlı yanıt dağıtımları da artık kademeli olarak yapılacak, Falcon sensör tabanının daha büyük bölümlerine kademeli olarak dağıtılacak ve sözde ‘kanarya’ dağıtımıyla başlanacak. Bunun bir parçası olarak, sensör ve sistem performansı gelişmiş izleme altına alınacak ve müşterilere bu tür güncellemelerin dağıtımı üzerinde daha fazla kontrol verilecek ve bu güncellemeler artık sürüm notlarıyla birlikte sunulacak.