Cloudflare, R2 nesne depolama, önbellek rezervi, görüntüler, günlük dağıtım, akış ve vektörize dahil olmak üzere bazı önemli tekliflerini etkileyen önemli bir hizmet kesintisi yaşadı.
1 saat 7 dakika süren olay, R2 ağ geçidi hizmeti için hatalı bir kimlik bilgisi rotasyon sürecine kadar izlendi.
Olaya Genel Bakış
Kesinti 21:38 UTC’de başladı ve 22:45 UTC’de sona erdi. Bu süre zarfında, R2’ye yazma işlemleri başarısız olurken, okuma operasyonlarının yaklaşık% 35’i küresel olarak başarısız oldu.
Bununla birlikte, başarılı yükleme ve mutasyonlar devam ettikçe, veri kaybı veya yolsuzluk yoktu.
Cloudflare, yeni kimlik bilgilerinin yanlışlıkla üretim ortamı yerine R2 Gateway hizmetinin bir geliştirme örneğine dağıtıldığı kimlik bilgisi rotasyon işlemi sırasında insan hatasına uyum sağlamıştır.
Hizmetler üzerindeki etki
Kesinti, çeşitli bulutflare hizmetlerinde geniş kapsamlı etkilere sahipti:
- R2: Tüm nesne yazma işlemleri başarısız oldu ve okuma işlemlerinin% 35’i başarısız oldu. Kamu varlıklarına özel alanlar aracılığıyla erişen müşteriler, önbelleğe alınan nesne okumaları nedeniyle daha az hata oranı gördü.
- Faturalandırma: Müşteriler geçmiş faturalara erişen sorunlarla karşılaştılar.
- Önbellek rezervi: Başarısız R2 okumaları nedeniyle kökenlere yönelik taleplerde bir artış meydana geldi.
- E -posta Güvenliği: Müşteriye dönük metrikler güncellenmedi.
- Görüntüler: Tüm yüklemeler başarısız oldu ve görüntü teslimatı%25’e düştü.
- Anahtar Şeffaflık Denetçisi: Olay sırasında tüm operasyonlar başarısız oldu.
- Günlük teslimat: Kütük işleme 70 dakikaya kadar ertelendi.
- Aktarım: Yükleme başarısız oldu ve video segmenti teslimat etkilendi ve aralıklı tezgahlara neden oldu.
- Vektörleştirmek: İndeksler üzerindeki sorgular ve işlemler etkilendi, tüm ekleme ve yukarı işlemler başarısız oldu.
Sorun, R2 mühendislik ekibi kimlik bilgisi rotasyon işlemi sırasında –Env parametresini atladığında, prodüksiyon dışı bir ortama yanlışlıkla yeni kimlik bilgileri dağıttığında ortaya çıktı.
Eski kimlik bilgileri kaldırıldığında, Üretim R2 ağ geçidi hizmeti yeni kimlik bilgilerine erişimi yoktu ve depolama altyapısıyla ilgili kimlik doğrulama sorunlarına neden oldu.
Çözünürlük ve önleyici tedbirler
Cloudflare, R2 Gateway hizmetine doğru kimlik bilgilerini dağıtarak olayı hızla çözdü. Gelecekte benzer olayları önlemek için şirket birkaç değişiklik yaptı:
- Gelişmiş Günlük: Kimlik bilgisi kullanımını izlemek için günlük etiketleri eklendi.
- Süreç güncellemeleri: Kimlik bilgisi kimliklerinin açık bir şekilde onaylanması ve en az iki kişinin değişiklikleri doğrulaması için bir gereklilik getirmesi.
- Otomatik dağıtım araçları: İnsan hatasını azaltmak için HotFix Release Araçları kullanmaya kaydırıldı.
- Geliştirilmiş izleme: Son nokta sorunları hakkında daha net bilgiler sağlamak için gözlemlenebilirlik platformlarının yükseltilmesi.
Cloudflare, neden olduğu kesintiler için derin pişmanlık duyduğunu ve hizmetlerinde esneklik ve güvenilirlikte sürekli iyileştirmelere bağlı olduğunu ifade etti.
Bu olay, kritik sistem bakım görevlerinde sağlam süreç doğrulaması ve otomasyonunun önemini vurgulamaktadır.
SOC/DFIR ekiplerinden misiniz? -Kötü amaçlı yazılımları, kimlik avı olaylarını analiz edin ve herhangi biriyle canlı erişim sağlayın. Run -> Şimdi ücretsiz başlayın.