Avustralya'nın 273 milyar doların yönetimindeki egemen varlık fonu olan Gelecek Fonu, tüm kurum için “temel merkezi veri platformu” görevi görecek bir veri gölü evi oluşturuyor.
Paul Matheson ve Matt Blair.
Proje, ajansın Databricks tarafından desteklenen veri analizi ortamının en son gelişimini temsil ediyor.
Geçen hafta Melbourne'de düzenlenen 'Veri İstihbaratı Günü' zirvesinde konuşan veri ve yazılım mühendisliği müdürü Paul Matheson, Fonun Databricks platformunun zamanla kullanımının ve öneminin arttığını söyledi.
“İlk olarak 2018'de bir mühendislik 'oyun alanı' ve araştırma yeteneği olarak ortaya çıktı” dedi.
“O zamanlar genellikle yalnızca küçük bir grup veri mühendisi tarafından veri araştırması ve dizüstü bilgisayarları kullanarak temel görselleştirme için kullanılıyordu ve yalnızca bazı küçük, kritik olmayan iş yüklerini çalıştırıyordu, dolayısıyla yalnızca küçük bir grup ve küçük veri işlemleri arasında kullanımı sınırlıydı. birimler.
“Birkaç yıl ileri sardığımızda Databricks artık ajansta kullanılan merkezi veri platformumuz haline geldi. Databricks iş akışlarını kullanarak bizim için bir dizi kritik iş yükünü çalıştırır ve kapsamlı veri analizi için kullanılır.
“Yatırım ve iş analistlerinden kullanıcılarımız var. [to] veri ve yazılım mühendislerinden niceliksel geliştiricilerden oluşan bir ekibe kadar.”
Databricks'in bir sonraki evrimi, Future Fund'ın yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış tüm verileri için bir göl evi ortamının oluşturulmasıdır.
Matheson, “Şu anda ajansta bir veri göl evi uygulamasının ortasındayız” dedi.
“Göl evi, tüm Gelecek Fonu ajansı için temel merkezi veri platformu olacak.”
Sunucusuz SQL deposu
Future Fund, mevcut Databricks ortamının kullanımının zamanla artması ve daha fazla üretim iş yükünün üstesinden gelmesi nedeniyle kullanıcıların performans sorunlarıyla karşılaşmaya başladığını söyledi.
Veri ambarlarının barındırılma şeklini değiştirerek, bulut ortamındaki SQL ambarlarından sunucusuz SQL ambarlarına geçiş yaparak bu sorunları çözdü.
Sorgu performansını iyileştirmenin ve maliyetleri azaltmanın bir yolu olarak artık Databricks tarafından sunucusuz SQL ambarlarının kullanılması öneriliyor.
DevOps ve platformlardan sorumlu kıdemli yönetici Matt Blair, sunucusuz SQL depolarının, kullanıcıların bir işi başlatmak veya bitirmek için daha az süre beklemesi anlamına geldiğini söyledi.
Sunucusuz mimarinin özellikleri, kaynakların kullanım taleplerine göre yeniden ölçeklendirilmesi ve azaltılması nedeniyle maliyet tasarrufu anlamına da geliyordu.
Daha önce, SQL depoları sürekli çalışıyordu ancak önemli süreler boyunca boşta kalıyordu; Uzun başlatma sürelerini önlemek için ortak bir işletim modeli.
Fonun Databricks platform ekibi, özellikle maliyet tasarrufu peşinde olmasa da, özellikle daha fazla kullanıcının katılımıyla performans ve kullanıcı deneyimiyle daha fazla ilgileniyordu; Blair yine de tasarrufların önemli düzeyde olduğunu kabul etti.
“Sunucusuz ortama geçmeden önce, sunucuların hayatındaki ortalama gün [compute resource] Depoyu çalıştıran kümenin en büyük özelliği sabah çalışmaya başlaması ve bütün gün boyunca faaliyet göstermesiydi” dedi Blair.
“Uzun bir boşta kalma süremiz vardı ve tahmin edebileceğiniz gibi verimsiz kaynak kullanımı ve artan maliyetle karşılaştık.
“Hızlı ölçeklendirme ve küçültme ile sunucusuz ortama geçtiğimizde, işiniz çalışır çalışmaz başlıyor ve üç ila dört saniye içinde çalışmaya başlıyor. Bittiğinde… tekrar kapanır.
“Sunucusuz SQL'e geçtiğimizde yaklaşık yüzde 36 tasarruf elde ettik, bu da fatura ödeyenleri çok mutlu ediyor.”
Yapay zeka hazırlığı
En son 'inceleme yılı'nda [pdf]Future Fund, Databricks'e yapılan yatırımları yapay zeka hedeflerinin ve gelişen yapay zeka alanına katılım yeteneğinin temeli olarak konumlandırdı.
Özel sermaye direktörü Kelvin Mak-Lui, “En büyük yatırımlarımızdan biri Databricks'e olmak üzere yapay zeka şirketlerine zaten önemli ölçüde maruz kalıyoruz” dedi.
Belgede Databricks'in “kuruluşların, işletmelerinde verimliliği ve yeni fırsatları artırmak için kullanılabilecek veri içgörüleri elde etmek için yapay zeka modelleri oluşturmasını, eğitmesini ve dağıtmasını sağlar ve mümkün kılar.