Google, Perşembe günü hizmetlerini ve diğer birçok çevrimiçi platformu bozan veya düşüren büyük Google Cloud kesintisinin arkasında bir API yönetimi sorununun olduğunu söylüyor.
Google, bulut kesintisinin 10:49 ET civarında başladığını ve dünya çapında milyonlarca kullanıcı için üç saatten fazla bir süredir sorunlara neden olduktan sonra 3:49 ET’de sona erdiğini söyledi.
Google Cloud’un yanı sıra, Gmail, Google Takvimi, Google Chat, Google Cloud Search, Google Dokümanlar, Google Drive, Google Meet, Google Görevleri, Google Voice, Google Lens, Discover ve Ses Aramasını da etkiledi.
Bununla birlikte, Spotify, Discord, Snapchat, NPM, Firebase stüdyosu ve işçiler KV anahtar-değer mağazasına dayanan sınırlı sayıda CloudFlare hizmeti dahil ancak bunlarla sınırlı olmamak üzere Google Cloud’a güvenen üçüncü taraf platformlar için yaygın sorunlara neden oldu.
Google, “Tüm kullanıcılarımızın ve müşterilerinin bu hizmetin bozulmasına/kesintisinin neden olduğu etkisi için derinden üzgünüz. İş yüklerinizle Google Cloud’a büyük ve küçük güven ve daha iyisini yapacağız.” Dedi.
Hala tam bir olay raporu yayınlamak için çalışırken, Google bugün dünün üç saatlik kesinti sırasında harici API taleplerinde 503 hatanın artmasına neden olan temel nedenini açıkladı.
Şirketin bugün açıkladığı gibi, Google Cloud API yönetim platformu geçersiz veriler nedeniyle başarısız oldu, bu da etkili test ve hata işleme sistemlerinden yoksun olduğu için derhal keşfedilmedi ve düzeltilmedi.
Şirket, “İlk analizimizden, dünya çapında dağıtılan, harici API taleplerinin reddedilmesine neden olan API yönetim sistemimize geçersiz bir otomatik kota güncellemesi nedeniyle meydana geldi. Kurtarmak için 2 saat içinde çoğu bölgede iyileşmeye izin veren rahatsız edici kota kontrolünü atladık.”
“Bununla birlikte, ABD-Central1’deki kota politikası veritabanı aşırı yüklendi, bu bölgede çok daha uzun süre iyileşmeye neden oldu. Birkaç ürünün, birincil sorun azaltılmasından ve bundan sonra küçük bir sayı iyileştikten bir saate kadar orta derecede kalıntı etkisi (örn. İş lokantaları) vardı.”
Google’ın kesintisi tarafından alınan Cloudflare hizmetleri
Kendi etkilenen hizmetlerini başarıyla geri yükledikten sonra Cloudflare, ölüm sonrası bir sonrası olayın bir güvenlik olayından kaynaklanmadığını ve hiçbir veri kaybolmadığını açıkladı.
Cloudflare, “Bu kesintinin nedeni, birçok Cloudflare ürünü için kritik bir bağımlılık olan ve etkilenen hizmetlerde yapılandırma, kimlik doğrulama ve varlık teslimine dayanan işçilerimiz KV hizmetimiz tarafından kullanılan temel depolama altyapısında bir arızadan kaynaklanıyordu.” Dedi.
“Bu altyapının bir kısmı, bugün bir kesinti yaşayan ve KV hizmetimizin kullanılabilirliğini doğrudan etkileyen bir üçüncü taraf bulut sağlayıcısı tarafından destekleniyor.”
Perşembe kesintisinin arkasındaki bulut sağlayıcısının adını paylaşmasa da, bir CloudFlare sözcüsü dün BleepingComputer’a sadece Google Cloud’a güvenen Cloogleflare hizmetlerinin etkilendiğini söyledi.
Bu olaya yanıt olarak Cloudflare, dış bağımlılığı azaltmak ve gelecekte benzer sorunları önlemek için KV’nin merkezi mağazasını kendi R2 nesne depolamasına taşıyacağını söylüyor.
Yama, karmaşık senaryolar, uzun saatler ve sonsuz yangın tatbikatları anlamına gelir. Artık değil.
Bu yeni kılavuzda Tines, modern BT kuruluşlarının otomasyonla nasıl dengelendiğini bozuyor. Daha hızlı yama, ek yükü azaltın ve stratejik çalışmaya odaklanın – karmaşık komut dosyaları gerekmez.