Optus, 8 Kasım’daki kesinti olayının büyüklüğü ve ölçeği karşısında şaşırdıktan sonra gelecekte ağ kesintisi olaylarının daha büyük ölçekli simülasyonlarını çalıştırmayı düşünecek.
Optus ağların genel müdürü Lambo Kanagaratnam (solda), Optus CEO’su Kelly Bayer Rosmarin (sağda).
Telekomünikasyon şirketi, yedeklilik önlemleriyle fiber kesintileri ve santral kaybı gibi daha lokal arızalara karşı hazırlıklıydı ve aynı zamanda tüm bir durumun bağlantısının kesilmesini simüle etmişti.
Ancak daha önce ağ altyapısında daha büyük ölçekli bir kayıp düşünülmemişti.
Optus ağ genel müdürü Lambo Kanagaratnam Cuma günü bir senato soruşturmasında “Bir ağ kesintisi çalışması yaptık, ancak bu ağda tam bir kesinti değildi” dedi.
“Eyaletlerden birini – Batı Avustralya’yı – kaybettiğimiz bir senaryoyu yürüttük ve ayrıca aynı senaryo kapsamında Güney Avustralya’daki borsalarımızdan birine yönelik potansiyel bir saldırının değerlendirmesini yaptık.”
Hiçbir plan veya uygulanmış senaryo, Optus’un tüm ağını bir kriz gibi kapatabilecek olayları içermiyordu. Telekomünikasyon şirketinin 8 Kasım’daki kesintiye neden olduğunu söylediği, uluslararası eş ağlardan gelen yönlendirme bilgilerindeki değişikliklerin yönetilememesi.
“Bu spesifik ölçekteki kesintiye yönelik bir planımız yoktu. Beklenmedik bir durum olduğunu düşünüyorum” dedi.
“Gelecekte bu tür tatbikatları dikkate alacağız.”
Kanagaratnam, telekomünikasyon ağını restore eden ülke çapındaki 12 saatlik operasyonun, yerel kesinti simülasyonlarından önemli ölçüde daha büyük ve daha karmaşık olduğunu söyledi.
Örneğin Optus’un, ağı kapalıyken uzaktan yeniden başlatamadığı yönlendiricileri yeniden bağlamak için denizaşırı bir ağ yönetimi ortağıyla koordinasyon sağlaması ve Avustralya genelinde 14 konuma katılması gerekiyordu.
“Nokia, ağımız için yönetilen hizmetler ortağımızdır ve en başından itibaren olayın yönetilmesinde ve ağın kurtarılmasında yer aldılar; Personeli Hindistan’da iki yerde bulunuyor” dedi Kanagaratnam.
“14 lokasyonda etkilenen ve yeniden başlatmak zorunda kaldığımız 90 cihazımız vardı. Buna ek olarak, bunlardan bazıları için (muhtemelen yaklaşık yarısı) bağlantıyı yeniden sağlamak için diğer 50 ağ öğesini yeniden başlatmak zorunda kaldık.
“Yani 14 konumda toplam 100 cihaz vardı ve bağlantıyı yeniden sağlamak için yeniden başlatmamız gerekiyordu.”
Singtel güncellemesini ‘test etme’ yeteneği yok
Optus CEO’su Kelly Bayer Rosmarin, telekomünikasyon şirketinin Singtel İnternet santralinde (STiX) rutin bir güncelleme yapmayı doğru şekilde planlamadığını söyledi.
İki saatlik konuşması sırasında “Gerçek şu ki, ağımızın bu değişimle başa çıkması gerekiyordu, ancak bu sefer başaramadı” dedi.
“Ağımızın, yükseltmenin olduğu yerden alternatif bir bağlantıya yönlendirme veya saptırmayla başa çıkabilecek şekilde tasarlanması gerekiyor.”
Ancak alternatif bağlantı “şuydu: [also] yükseltiliyor” ve “yedekleme ve artıklık seçeneği” olarak işlev göremiyor.
“Bu bağlantı üzerinden gelenlerin, farklı şekilde yapılandırılmış olan başka bir bağlantıya yönlendirilmesi ve ardından farklı yönlendiricilerin her birinde arıza korumalarını tetikleyecek şekilde ağımıza yayılması gerekiyordu.”
‘Yüksek düzeyde yedeklilik’ tam ölçekli bir kesintiye karşı işe yaramaz
Kanagaratnam, Optus’un ağının bazı bölümleri kapalıyken bağlantıyı korumak için paralel acil durum altyapısının birçok katmanına yatırım yaptığını, ancak kesinti sırasında bunun bir faydası olmadığını söyledi.
“Yüksek seviyede yedekliliğimiz var ve bu [a full-scale outage] olmasını beklediğimiz bir şey değil.”
Kanagaratnam, Optus’un yedeklilik katmanlarının, sağlayıcı uç yönlendiricileri de dahil olmak üzere çekirdek ağ altyapısının çalışır durumda olmasına bağlı olduğunu belirtti.
“Her türlü değişikliğin gerçekleşmesini sağlayacak savunma mekanizmalarına sahip olmalıyız” [partner’s] ağ, ağımızı etkilemiyor ve o gün böyle bir şeye sahip değildik.”
Kanagaratnam, Optus’un üç ana yedekleme katmanının “ülke çapındaki borsalar veya ‘siteler’i” içerdiğini ve bunların “ağın farklı kısımlarını ayırdığını” söyledi. Bu değişim içindeki müşteriler”.
İkincisi, “her borsada…sunduğumuz hizmetlerin her birinde [Optus] connect”, normal bir bağlantı başarısız olduğunda devreye giren en az bir acil durum yönlendiricisiyle yedeklenir.
“Ayrıca mobil ses verileri ve sabit ses için de yaptığımız şey, trafiğin ülke genelinde sorunsuz bir şekilde geçiş yapabilmesi için coğrafi yedeklilik sağlamak.”