Optus, 8 Kasım’daki kesintiye neyin sebep olduğunu düşündüğünü tam olarak açıkladı: Cisco sağlayıcı uç (PE) yönlendiricilerindeki, ülke çapında yaklaşık 90’ın kapanmasına yol açan varsayılan ayarlar.
Bu atıf, “uluslararası eşleme ağının” ona kötü veriler sağladığı yönündeki önceki açıklamasının gelişmiş halidir.
Bu haftaki haberlerde bu eşin Singtel internet değişimi (STiX) olduğu belirtildi ve bunun nedeninin kısmen Singtel’in tarafında bir yazılım güncellemesi olduğu belirtildi.
Singtel Perşembe günü bu hesaba itiraz etti, bunun yerine – daha doğru bir ifadeyle – Optus’un yönlendiricilerindeki “önceden ayarlanmış arıza güvenliği” mekanizmalarını bunun nedeni olarak belirledi – bu hesap Optus’un Perşembe günü geç saatlerde, Cuma günkü senato görünümünden önce sunduğu bir sunumda doğrulandı.
Kesintinin yaklaşık 90 PE’den kaynaklandığı artık anlaşıldı. [provider edge] Optus, yönlendiricilerin kendilerini aşırı IP yönlendirme bilgisinden korumak için otomatik olarak kendi kendini izole ettiğini söyledi. [pdf]
“Bu kendini koruma sınırları, ilgili küresel ekipman satıcısı (Cisco) tarafından sağlanan varsayılan ayarlardır.”
Optus, yönlendirme bilgilerinin “beklenmeyen aşırı yükünün” “alternatif bir Singtel eşleme yönlendiricisi” aracılığıyla geldiğini, görünüşe göre Optus’un rota bilgilerini aldığı birincil veya olağan yönlendirici donanımının bakım altında olmasından kaynaklandığını söyledi.
Telekomünikasyon şirketi, Kuzey Amerika’daki bir STiX lokasyonunda belirtilmemiş bir yazılım yükseltmesinin gerçekleştirildiğini söyledi.
Optus, yükseltmenin kötü rota bilgilerinin yayılmasına yol açtığını (neden olduğu belirsiz) öne sürüyor ancak Avustralya’daki “olayın nedeninin bu olmadığını” söylüyor.
Bunun yerine suçu uç yönlendiricinin “güvenlik” varsayılanlarına yükler. Varsayılan ayarların neden kullanıldığını, ayarları ne ölçüde değiştirebildiğini veya yönlendiricilerin bu varsayılan ayarlarla ne kadar süre çalıştığını söylemiyor.
Optus, 150 mühendis ve teknisyenden oluşan bir ekibin, 250 personel ve beş tedarikçi tarafından desteklenen araştırma ve restorasyon çalışmalarına doğrudan dahil olduğunu söyledi.
Altı teori
Yaklaşık ilk altı saat boyunca mühendisler büyük ölçekli kesintiye ilişkin altı farklı olası açıklamayı araştırdılar.
Bunlar arasında Optus’un bir gecede yaptığı çalışmaların neden olup olmadığı; bu değişiklikleri geri aldı ancak bir çözüm bulamadı.
Eş zamanlı olarak araştırılan diğer seçenekler arasında bunun bir DDoS saldırısı mı, bir ağ kimlik doğrulama sorunu mu yoksa içerik dağıtım ağı sağlayıcısı gibi diğer satıcılarla ilgili sorunlar mı olduğu yer alıyordu.
Ancak bir açıklama, “ağ restorasyonu için önde gelen hipotez” haline geldi: “birden fazla Sınır Ağ Geçidi Protokolü (BGP) IPv6 ön ekinin eşik uyarılarını aştığını gösteren” ekipman kayıtları ve uyarılar.
“Yönlendirme bağlantısının sıfırlanmasının ağ hizmetlerinin kaybını giderdiğini belirledik. Bu olay sabah 10:21’de meydana geldi” dedi Optus.
Mühendisler daha sonra “ağla bağlantıları kesilen ağ öğelerindeki yönlendirme bağlantısını sıfırlamak ve temizlemek, bağlantıyı geri yüklemek için bazı ağ öğelerini fiziksel olarak yeniden başlatmak ve yeniden bağlamak, [and] “Ağdaki sinyal dalgalanmasını önlemek için trafiği mobil veri ve ses çekirdeğine dikkatli ve düzenli bir şekilde yeniden dahil ediyoruz” dedi.
Mühendisler, 8 Kasım’daki çözüm ile bir sonraki 13 Kasım Pazartesi günü arasında ağ üzerinde belirtilmemiş “esneklik” çalışmaları gerçekleştirdi.
Optus gelecek daha fazla çalışmanın habercisiydi.
“Bu etkinlikten ders almaya ve ağımızın dayanıklılığını artırmak için uluslararası tedarikçilerimiz ve ortaklarımızla birlikte çalışarak yoğun yatırım yapmaya devam etmeye kararlıyız” dedi.
“Ayrıca hükümet ve senato tarafından yürütülen incelemeleri destekleyeceğiz ve bu incelemelerde tam işbirliği yapacağız.”
Müşteri iletişimini savunur
Optus, kesinti gününde müşteri iletişimini savunmak için sunumunun diğer bölümlerini kullandı.
Tüketici hizmetleri ve bazı kurumsal hizmetler ortadan kalktığında, medya -geleneksel ve sosyal- bu haberi duyurmanın en iyi yolu olarak görülüyordu.
Senato soruşturmasında buna itiraz edilmesi muhtemeldir.
Senatonun gündeme getirmesi muhtemel diğer konu ise müşterilere verilecek mali tazminattır.
Optus’un şu ana kadar kullanıcılara ekstra veri kotası sunması bazı çevrelerce eleştiriliyordu.
Özellikle işletmelerin ağ kapalıyken para kaybettikleri yönünde bir tartışma olsa da, birincil hizmetlerinin kesintiye uğraması durumunda işletmelerin kendi yedek bağlantılarına sahip olmaları gerektiğine dair karşı bir iddia da var.
Senatonun bunu ne ölçüde çözebileceği belirsiz.
Eşi benzeri görülmemiş mali tazminat
Ancak Optus, sunumunda bir telekomünikasyon şirketinin “sonuç olarak ortaya çıkan kayıplar” için mali tazminat ödemesinin, oluşturulması gereken bir emsal olmadığını savunuyor.
Optus, “Telekomünikasyon sağlayıcıları tarafından, 8 Kasım’da gerek burada gerekse yurt dışında meydana gelen türden bir kesinti sonucunda iş kaybına uğrayan tüm ticari müşterilere tazminat ödenmesine ilişkin emsal yoktur” dedi.
“Bunun, Optus’un çok ötesine geçecek ve diğer tüm telekomünikasyon sağlayıcılarının yanı sıra diğer temel hizmet sağlayıcıları, kritik altyapı ve kamu hizmetleri sağlayıcıları için de geçerli olacak yeni bir emsal oluşturacağını anlıyoruz.
“Bu, ekonominin birçok sektörü ve bu hizmetlerin Avustralyalı tüketiciler için maliyeti üzerinde geniş kapsamlı etkileri olan, hükümet için konuyu çok daha geniş bir politika sorusu haline getiriyor.”
Optus, Avustralya’da büyük bir kesinti yaşayan ilk kişi olmadığını ve 8 Kasım’daki kesintinin de bu türdeki son olay olmayacağını söyledi.
“Güvenilir dijital çağımızda, yapılan yatırımlara veya üstlenilen dayanıklılık çabalarına rağmen hiçbir iletişim ağının bu tür olaylara karşı tamamen koruma sağlayamayacağı veya bu tür olayların gerçekleşmesini engelleyemeyeceği talihsiz bir gerçektir” dedi.
“Bunu yansıtacak şekilde iletişim hizmetleri sürekli hizmet garantisi ile sunulmamaktadır.
“Hizmetin sürekliliği garanti edilmediğinden, tüketicilere herhangi bir kesinti olduğunda otomatik olarak tazminat hakkı verilmiyor.”