Woodside Energy, son birkaç yılı, hem yapılandırılmış hem de zaman serisi verileri için birleşik bir veri platformu olarak kar tanesi kurmak için kullandı ve daha önce AWS bileşenlerinden monte edilmiş platformlardan hareket etti.
Sıvılaştırılmış Doğal Gaz (LNG) üreticisi, geçen ay Sydney’deki satıcının Dünya Tur Zirvesi’ndeki kar tanesine göçünü anlattı.
Dijital Platform Operasyonları Mükemmellik Lideri Dameon Russell, Woodside’ın “2017’den beri veri platformlarıyla çalıştığını” söyledi.
“2021 yılına kadar, gerçekten desteklediğimiz bir veri platformunun iki sütunu vardı: biri ilişkisel bir veri gölü, diğeri bir zaman serisi platformuydu” dedi.
“Her ikisi de çeşitli AWS hizmetleri üzerine inşa edildi ve her ikisinin de aynı tür teknik sorunları vardı.”
Russell, “bu şeylerin nasıl derinlemesine çalıştığını ve değişiklik yapabildiğini gerçekten anlayan“ az ”iç kaynak olduğunu söyledi; “Platform değişiklikleri kırılgandı; güvenlik ve yönetişim gerçekten ikinci bir düşünceydi”; Ve mevcut platformun etrafında, hepsi operasyonel karmaşıklığa katkıda bulunan “çok az gözlemlenebilirlik” vardı.
“Bütün bunlar giderken [on]insanlar [internally] ‘Veri odaklı bir çözüm organizasyonu olmalıyız’ diyorlardı, ancak insanlar platformlara gerçekten güvenmediler ve verilere gerçekten güvenmediler, ”dedi Russell.
Veri teknolojisi platformu Rohan Davies, “yeni bir veri platformu projesi” nin yönetişim ve güvenlik konusundaki “endişeleri ele almak” ve “toplam sahiplik maliyetini en aza indirgemek için” ayakta kaldığını söyledi.
Davies, “Modüler bir mimari istedik, bu yüzden artık bir monolit değil, bu da bileşenleri uygun gördüğümüz gibi değiştirmemize ve gerçekten en iyi bir yaklaşıma sahip olmamıza izin verecek” dedi.
Gaz üreticisi SnowFlake’i yeni veri platformunun çekirdeği olarak seçti, başlangıçta rol tabanlı erişim kontrolü (RBAC) ve güvenlik özelliklerinin yanı sıra yönetilebilirliği ve yapılandırılabilirliği.
“İçin ayrı araçlar tanıttık [data] yutma, dönüşüm için ve [data] Katalog ve biz [also] DataOps tanıtıldı, bu yüzden yaptığımız tüm değişiklikler Git depoları aracılığıyla. Bu, test ve dağıtım sürecini otomatikleştirmemizi sağlar ”dedi.
“Platformu kodu sürdürmemize izin verme süreci bizim için gerçek bir kazançtı.”
Şirket, yeni platform için kaynak ve tüketim entegrasyonlarını yeniden eşleştirdi, ancak “‘Big Bang’ Cutover” yoktu.
Bunun yerine, Woodside 2023 ve 2024’teki kuruluş için yeni ilişkisel – veya yapılandırılmış – veri platformu olarak aşamalı olarak kar tanesi kurdu.
“[In] 2024, biz [were] Eski veri sistemimizin neredeyse tamamen dışında. Birkaç sistemimiz kaldı, ”dedi Davies.
“Şu anda günde 95 milyondan fazla kayıtta oturuyoruz, 2500 tüketilebilir veri varlığının biraz altında ve günde 250.000’den fazla sorguda oturuyoruz – [and] İnsanlar potansiyeli görmeye başlıyor. ”
Yapılandırılmış veriler için “aynı zamanda kar tanesi başlıyor”, Russell, Woodside’ın zaman serisi verilerini yönetmek için seçenekleri de gözden geçirmeye başladığını söyledi: öncelikle endüstriyel tesisinden “bitkinin durumu” göstermek için alınan veri okumaları ve okumaların sağlıklı veya sağlıksız olup olmadığını belirleyin.
Bu okumalar, özellikle Woodside’ın ek gaz projelerine yatırıldığı için hacim ve frekansta artıyordu.
Ayrıca, şirket bu veri analizinin otomasyonunu artırmak istedi.
Organizasyonun bu kısmı başlangıçta 15 veri platformunu düşündü ve kar tanesi ile gitmeden önce üçe kadar ilerledi.
Kısmen Snowflake’in seçimi, “istekli” bir iş yükü kullanılarak test edilmeye dayanılarak yapıldı; Artan hacim, küme boyutunu ve konfigürasyonunu değiştirerek kar tanesi ile nispeten kolayca işlenebilir, ancak diğer platformlarla yeniden mimarlık gerektirdiği bulunmuştur.
Russell, Snowflake’in şimdi “günde 500.000 üretim sorgusunu desteklediğini ve zaman serisi veri setlerimize çarptığını” söyledi.
SnowFlake’in eleştirisini özellikle bir zaman serisi veri platformu olarak kabul ederken, Russell, Woodside’ın “bu iş yükünü bizim için teslim edebileceğini” kanıtladığını söylediği “zaman serisi özelliklerine” sahip olduğunu söyledi.
Şirket, bu yeteneklerin doğrudan satıcı ile genişletilmesini savunmaya devam etti.
“Sanırım daha fazla zaman serisi işlevi için her zaman kar tanesi bastırıyoruz,” dedi Russell.
Woodside ayrıca, küme boyutlarını azaltmasına ve sorgu performansını iyileştirmesine izin veren zaman serisi veri iş yüklerini desteklemek için Snowflake Gen-2 sanal depolarını kullanmaya başladı.
Davies, 2025’te Woodside’ın şimdi ilişkisel ve zaman serisi verileri için “birleşik bir veri platformu” çalıştığını söyledi.
“Artık işletmenin tüm alanlarını destekleyen dijital girişimlerin ayrılmaz bir parçasıyız” diyen, Woodside’daki veri sahiplerinin ve tüketicilerin platformun değerini ilgili alanlarına tanıdıklarını da sözlerine ekledi.