Gizlilik odaklı çevrimiçi hizmetler sunan İsviçreli teknoloji şirketi Proton, perşembe günü dünya çapında yaşanan kesintinin Kubernetes’e devam eden altyapı geçişi ve başlangıçtaki yük artışını tetikleyen bir yazılım değişikliğinden kaynaklandığını söylüyor.
Şirketin dün durum sayfasında yayınlanan bir olay raporunda açıkladığı gibi kesinti 10:00 ET civarında başladı.
Proton kullanıcıları Proton VPN, Proton Mail, Proton Calendar, Proton Drive, Proton Pass ve Proton Wallet hesaplarına bağlanamadıklarını bildirdi.
Örneğin, etkilenen kişiler Proton Mail’e bağlanmaya çalışırken “Bir şeyler ters gitti. Bu sayfayı yükleyemedik. Lütfen sayfayı yenileyin veya internet bağlantınızı kontrol edin.” şeklinde hata mesajları gördü.
Sorunlar yaklaşık iki saat içinde tamamen çözüldü; Proton Mail ve Proton Calendar, tekrar çevrimiçi hale getirilen son hizmetler oldu.
Şirket, “16:15 CET itibarıyla Posta ve Takvim dışındaki tüm hizmetler normal şekilde çalışıyor. Sorunu düzeltmek ve etkilenen hizmetlerin geri kalanını geri yüklemek için hâlâ çalışıyoruz.” dedi.
Bugün, orijinal olay raporuna yapılan bir güncellemede Proton, dünkü küresel kesintinin site güvenilirliği mühendislik ekibi tarafından belirlenen bir yazılım değişikliği tarafından tetiklendiğini açıkladı.
Değişiklik, Proton’un veritabanı sunucularına yapılan yeni bağlantıların sayısını ciddi şekilde sınırladı ve Zürih saat 16.00 civarında bağlanan kullanıcı sayısı keskin bir şekilde arttığında ilk yükte artışa neden oldu.
“Bu, Proton’un altyapısını aşırı yükledi ve tüm müşteri bağlantılarına hizmet vermemizi imkansız hale getirdi. Proton VPN, Proton Pass, Proton Drive/Docs ve Proton Wallet hızla kurtarılırken, Proton Mail ve Proton Calendar’da sorunlar daha uzun süre devam etti.” şirket dedi.
“Bu hizmetler için, olay sırasında isteklerin yaklaşık %50’si başarısız oldu ve bu da bazı kullanıcılar için aralıklı olarak hizmetin kullanılamamasına yol açtı (hizmet dakikadan dakikaya yukarı ve aşağı dönüşümlü olarak görünüyor).”
Proton, tüm yeni bağlantıları idare etmek için yeterli ekstra kapasiteye sahip olsa da, “iki paralel altyapının” aynı anda çalıştırılmasını gerektiren Kubernetes’e devam eden geçiş, yükü dengelemeyi imkansız hale getirdi.
“Toplamda, isteklerin %100’ünü karşılayabileceğimiz duruma geri dönmemiz yaklaşık 2 saatimizi aldı; o zamana kadar kullanıcılar performansta düşüş yaşadı. Hizmet yalnızca aralıklı olarak mevcuttu ve ikinci sırada performans önemli ölçüde iyileştirildi. Proton, olayın bir saat sürdüğünü, ancak tamamen çözülmesi için ek bir saat gerektiğini belirtti.
Proton, o zamandan beri çevrimiçi hizmetlerini etkileyen tüm bağlantı sorunlarını çözdüğünü ve “durumun bir süredir istikrarlı olmasına” rağmen şu anda ek sorunları izlediğini söyledi.