Alinta Energy, bir zamanlar veri mimarisini Databricks ile güçlendiren Azure tabanlı hizmetlerin çoğunu yavaş yavaş değiştirdi, bu da çalışma maliyetlerini önemli ölçüde azalttı.
Alinta’dan Jake Roussis.
Baş Veri Mühendisi Jake Roussis, Melbourne’deki bir Databricks Veri İstihbarat Günü’ne, değişikliklerin “son 12 ay içinde üretim platformu harcamalarında yüzde 40 ila 50 azalma sağladığını söyledi. [equivalent to] 1 milyon doların üzerinde maliyet tasarrufu ”.
Hem bir elektrik jeneratörü hem de perakendeci olan “Gentailer”, veri dönüşümü, sorgulama ve işleme yapmak ve kullanıcılara veri sunmak için Microsoft’un hepsi bir arada veri platformu ve analiz hizmetleri paketi Azure Synapse kullanıyordu.
Veritabricks vardı, ancak sınırlı bir kapasitede, sadece bazı veri işleme ve analitik çalışmaları için kullanılır; Ayrıca analiz ve raporlama için tablo ve Power BI vardı.
Bu unsurların çoğu, Roussis’in iç mühendisliğin “maliyet, gözlemlenebilirlik, güvenilirlik ve performans” iyileştirmelerini kovalamak için stratejisine uyduğunu söyledi.
“Sadece küçük bir bölüm var [of our data architecture] Bu değil [Databricks]ve onu taşımak için elimizden gelen her şeyi yapıyoruz [Databricks]”Dedi.
Roussis’e göre, Azure Services’in kademeli olarak değiştirilmesi maliyet azalmasına yol açtı.
“Synapse hakkında çok fazla konuşmak istemiyorum – ondan uzaklaştık – ama bunu kapatarak ve veritabrick’lere geçerek sahip olduğumuz yüzde 40’lık bir maliyet indiriminden bahsetmiyorum” dedi.
“Son zamanlarda bizim için bir başka büyük galibiyet [was] Sunucusuz SQL depoları. Databricks SQL kendi başına inanılmaz derecede güçlüdür, ancak geleneksel bir depodan sunucusuz SQL depolarına geçiş bize yıllık yüzde 38 daha netleştirmiştir. Bu yılda yaklaşık 300.000 dolar, bu yüzden küçük bir miktar değil. ”
Roussis, sunucusuz SQL hareketine maliyet azaltmayı gerçekleştirmek için veri iş yüklerinin bazı “hakları” eşlik ettiğini belirtti.
“Kullanıcıların sorgularken… sunucusuz SQL kurulumunda en iyi maliyet optimizasyonuna sahip olduğumuzdan emin olmalıydık, ancak üstlenilmesi zor bir etkinlik değildi” dedi.
Roussis, Alerting’in Databricks’te Azure’a kıyasla daha iyi kurulduğunu ve Alinta’nın Pagerduty BT operasyon platformuna yönlendirilebileceğini söyledi.
Ayrıca Databricks’teki “gerçek zamanlı sorgu izlemesi” ni avantajlı olarak belirtti.
Yeniden platformdan önce Roussis, kaynak tükenmesinin “iki haftada bir olay” olabileceğini söyledi.
“Salı sabahı sabah 3 olduğunu hayal edin. Telefonunuz titremeye başlar, buna ulaşırsınız, kritik bir [data] Boru hattı başarısız oldu ”dedi.
“Dün işi bitirdiğinizde her şey yolundaydı, boru hatlarınız çalışıyordu, platform mükemmeldi.
“20 dakika aradıktan sonra nihayet sorunu buldunuz: bir kullanıcı saat 22: 00’de bir sorguyu başlattı ve sadece kötü yazılmıştı, tüm kaynaklarınızı kullandı ve o zamandan beri hiçbir şey çalışmıyor.
“Alinta’ya başladığımda bu benim için bir gerçekti.”
Roussis, daha önce koşarken bir sorguyu gözlemleyebileceğini söyledi. “Gerçekten sonra göremedim. Yaptığı hasarı göremedim.”
“Şimdi bu sorunun ne kadar sürdüğünü tam olarak görebiliyorum, maliyeti görebiliyorum ve sorgu planını da anlayabiliyorum” dedi.
“Databricks de bunun için de harika çünkü sizin için sorguları optimize etmeye çalışıyor. Yapabileceklerini yapıyor, ancak bazen insanlar sadece kötü sorgular yazıyor.
“Bununla birlikte, yürütülen sorguları analiz edebiliriz ve daha sonra onları yıkabilir ve kullanıcıların yaptıklarını geliştirmelerine yardımcı olabiliriz. İşimizin daha iyisini yapmasını sağlayabiliriz.”
Case-in Point: Roussis, elektrik “fiyatlandırma varyasyon etkinlikleri” için kullanılan bir hesap makinesinin artık bir saatten bir süre önce “15 dakikadan az” çalışma süresi gerektirdiğini söyledi.
“Yaptığımız tek şey, kötü yazılmış bir Python kodu olmaktan ve SQL’i DBT ile tamamen veritabricks yapmaktı” dedi. Veri oluşturma aracı veya DBT, analize için ham veriler hazırlamak için kullanılır.
Doğal dil sorgulama
Alinta Energy, iş ekiplerinin doğal dil kullanarak verilerle etkileşime girmesini sağlamayı amaçlayan Databricks’in üretken AI özelliği olan AI/BI Genie için ilk kullanım durumunu da başlattı.
Roussis, “Bunun üstesinden gelmek ve mümkün olduğunca çabuk anlamak için elimizden geleni yaptık – sınırlamalarını ve nerede mükemmel olabileceğini anlamak için” dedi.
“2024’ün sonlarında, perakende müşteriler hakkında bilgi sunabilen Alinta Kuruluna sunulan bir kavram kanıtı hazırlayabildik, bu da çağrı merkezi temsilcilerinin onu kullanabileceği fikri.
“Birisi çalmalı mı [the call centre agent] AI’ya sizin hakkınızda bir soru sorabilir [to understand] Ne çağırıyor olabilirsiniz.
“Bu bizim için gerçekten iyi bir öğrenme deneyimiydi. Bundan, şimdi tekrarlanabilir AI yapabilmemiz için süreçler koymaya çalıştığımız bir aşamadayız, böylece yeni AI geliştirebilir ve üretime daha fazla model koymaya devam edebiliriz.
“Ama uygun korkuluklara sahip olduğumuzdan emin olmalıyız. İşlerin tam olarak beklediğimiz gibi çalıştığından emin olmalıyız çünkü herhangi bir yapay zekanın insanlara yanlış bilgi vermesini istemiyoruz.”