İnternetin en kritik altyapı sağlayıcılarından ikisi dün önemli hizmet kesintileri yaşadı ve hem Cloudflare hem de Google Services birbirlerinden birkaç saat içinde yaygın başarısızlıklar yaşadığı için dünya çapında milyonlarca kullanıcıyı bozdu.
Cloudflare’nin kapsamlı hizmet kesintisi, şirketin sıfır güven erişim kimlik doğrulama sistemi ve çözgü bağlantı hizmeti başarısızlık yaşamaya başladığında yaklaşık 18:19 UTC’de başladı.
Kesinti hızla arttı ve Cloudflare’in işçileri KV, tarayıcı izolasyonu, dayanıklı nesneler, işçi AI, akış ve Cloudflare kontrol panelinin bölümleri de dahil olmak üzere geniş bir spektrumunu etkiledi.
.png
)
Şirket, temel nedenini, üçüncü taraf bir hizmet bağımlılığını etkileyen bir kesinti nedeniyle meydana gelen işçi KV hizmetinin kritik bir başarısızlığı olarak tanımladı. Bu basamaklı arıza, turnike, AI Gateway, Autorag ve gerçek zamanlı hizmetler dahil olmak üzere bilgileri depolamak ve yaymak için KV hizmetine dayanan birden fazla ürünü düşürdü.
Cloudflare mühendisleri, krizi ele almak için “tüm eller güvertede” konuşlandırdı ve kesintinin müşteri tabanlarında verdiği derin etkiyi kabul etti.
Şirket, 19:12 UTC civarında hizmet kurtarma görmeye başladı ve sistemleri yeniden düzenlenmiş ve yeniden inşa edilmiş önbellekleri ele alarak aralıklı hatalar devam etti. Tam restorasyon 20:57 UTC ile elde edildi, olay sürekli istikrarı doğrulamak için bir izleme döneminden sonra 21:31 UTC’de resmen çözüldü.
Ayrı ama eşzamanlı bir olayda Google, Gmail, Google Takvimi, Google Chat, Google Meet, Google Drive, Google Cloud Arama, Google Görevleri ve Google Voice gibi temel çalışma alanı uygulamalarını etkileyen 17: 58 UTC’den başlayarak kendi büyük hizmet aksama yaşadı. Kesinti ayrıca uygulama sayfasını etkiledi ve küresel olarak işletmeler ve bireysel kullanıcılar için yaygın verimlilik kesintileri yarattı.
Google’ın mühendislik ekipleri, hizmetleri aşamalı olarak geri yüklemek için akşam boyunca çalıştı. 19:30 UTC çoğu ürün etkisini çözdü, ancak Google ek dikkat gerektiriyor.
Etkilenen hizmetlerin çoğunluğu 19:48 PDT (12:48 PDT) tarafından tamamen faaliyete geçti ve Appsheet hizmetleri 23:00 PDT (16:00 PDT) tarafından geri yüklendi.
Bu kesintilerin eşzamanlı doğası, bulut altyapısındaki birbirine bağlı güvenlik açıklarını vurguladı. Her iki şirket de olayların ilgisiz olduğunu vurgularken, zamanlama, milyonlarca kuruluşun günlüke bağlı olduğu kritik internet hizmetlerinin esnekliği hakkında sorular ortaya koydu.
Her iki sağlayıcı da iç soruşturmalarını bitirdikten sonra ayrıntılı raporları paylaşacak. Bu olaylar bize, özellikle üçüncü taraf bağımlılıkları aksi takdirde güçlü sistemlerde beklenmedik sorunlara yol açtığında, anahtar bulut hizmetleri başarısız olduğunda gerçekleşebilecek ciddi etkileri hatırlatır.
Herhangi biriyle tehdit tepkisini otomatikleştirin. -> Tam erişim isteyin