Parola rotasyon hatasının neden olduğu Cloudflare R2 hizmet kesintisi

Cloudflare, R2 nesne depolama ve bağımlı hizmetlerinin 1 saat 7 dakika süren bir kesinti yaşadığını ve küresel olarak% 100 yazma ve% 35 okuma arızalarına neden olduğunu açıkladı.

CloudFlare R2, ücretsiz veri alımı, çok bölgeli çoğaltma ve sıkı Cloudflare entegrasyonu ile ölçeklenebilir, S3 uyumlu bir nesne depolama hizmetidir.

21:38 UTC ve 22:45 UTC arasında süren olayın, R2 ağ geçidinin (API ön uç) arka uç deposuna kimlik doğrulama erişimini kaybetmesine neden olan bir kimlik bilgisi rotasyonundan kaynaklandığı bildirildi.

Özellikle, yeni kimlik bilgileri yanlışlıkla üretim yerine bir geliştirme ortamına dağıtıldı ve eski kimlik bilgileri silindiğinde, üretim hizmeti geçerli kimlik bilgileri olmadan bırakıldı.

Sorun, yeni kimlik bilgilerinin üretim işçisinden ziyade üretim R2 Gateway işçisine dağıtılmasına neden olan tek bir komut satırı bayrağının ‘–env üretimini’ atlamaktan kaynaklandı.

Sorunun doğası ve Cloudflare’nin hizmetlerinin çalışma şekli nedeniyle, yanlış yapılandırma hemen belirgin hale getirilmedi ve iyileştirilmesinde daha fazla gecikmeye neden oldu.

Olay raporunda Cloudflare, “R2 kullanılabilirlik metriklerindeki düşüş kademeli ve hemen açık değildi, çünkü önceki kimlik bilgisinin depolama altyapısına yayılmasında bir gecikme oldu.”

Diyerek şöyle devam etti: “Bu, sorunun ilk keşfinde bir gecikme olduğunu açıkladı. Eski kimlik bilgilerini güncelledikten sonra kullanılabilirlik metriklerine güvenmek yerine, R2’nin depolama altyapısıyla kimlik doğrulaması yapmak için hangi token kullanıldığını açıkça doğrulamalıyız.”

Her ne kadar olay müşteri veri kaybı veya yolsuzluğa neden olmasa da, hala kısmi veya tam hizmet bozulmasına neden oldu:

• R2:% 100 yazma arızaları ve% 35 okuma hataları (önbelleğe alınmış nesneler erişilebilir kaldı)
• Önbellek rezervi: başarısız okumalar nedeniyle daha yüksek menşe trafiği
• Görüntüler ve Akış: Tüm yüklemeler başarısız oldu, görüntü teslimatı% 25’e düştü ve akış% 94
• E -posta Güvenliği, Vektörize, Günlük Teslimat, Faturalandırma, Temel Şeffaflık Denetçisi: Çeşitli hizmet bozulma seviyeleri

Benzer olayların gelecekte tekrarlanmasını önlemek için Cloudflare, kimlik bilgisi günlüğü ve doğrulamasını geliştirdi ve şimdi insan hatalarını önlemek için otomatik dağıtım araçlarının kullanımını zorunlu kılıyor.

Şirket ayrıca, kimlik bilgisi rotasyonu ve daha hızlı kök neden algılaması için sağlık kontrollerini geliştirme planları gibi yüksek etkili eylemler için çift doğrulama gerektirecek şekilde standart işletim prosedürlerini (SOP) güncellemektedir.

Cloudflare’nin R2 hizmeti, Şubat ayında 1 saatlik bir kesinti yaşadı ve bu da bir insan hatasından kaynaklandı.

Hizmetteki bir kimlik avı URL’si hakkındaki bir istismar raporuna yanıt veren bir operatör, belirli uç noktayı engellemek yerine tüm R2 ağ geçidi hizmetini kapatır.

Yüksek etkili eylemler için önlemlerin ve doğrulama kontrollerinin olmaması, kesintiye yol açarak CloudFlare’nin daha iyi hesap sağlama, daha katı erişim kontrolü ve yüksek riskli eylemler için iki partili onay süreçleri için ek önlemler planlamasını ve uygulamasını istedi.