Sıhhi tesisat ve banyo malzemeleri satıcısı olan Reece Group, farklı departmanlar ve ekipler tarafından verilere güvenli ve kontrollü self servis erişim sağlamak için “yeni nesil veri platformu” oluşturdu.
İmaj kredisi: Reece Grubu
Uygulamalı veri bilimi müdürü Erik Pak, Melbourne’deki Databricks Veri İstihbaratı Günü’nde, Reece’in daha önce analitik ve raporlama görevlerini yürütmek için merkezi bir BI ekibine büyük ölçüde güvendiğini söyledi.
Pak, “Kurumsal düzeyde bir perakende şirketiyiz ve diğer birçok şirket gibi bizim de merkezi bir BI ekibimiz var ve elbette birçok ortak zorluğu da paylaşıyoruz” dedi.
“Örneğin, BI ekibimiz hiçbir zaman şirket genelindeki tüm BI girişimlerini destekleyecek kadar büyük görünmüyor ve [data] Depo hiçbir zaman herkesin ihtiyaç duyduğu tüm verileri barındıracak ve hatta tüm iş yükünü aynı anda verimli bir şekilde ele alacak kadar büyük görünmüyor.
“Her zaman, diğer herkesi etkileyen uzun süredir devam eden bir sorguya sahip olan bir kullanıcı var gibi göründüğünden bahsetmiyoruz bile ve bunun bir gecede işlerimizi bozmaması için dua ediyoruz.”
Pak, Reece’in, daha yüksek derecede self servis olanağı sağlamanın yanı sıra, verilere sahip olan departmanların ve ekiplerin “yalnızca kaynak sistemde değil, veri platformunda da daha iyi sahiplenmelerini” istediğini söyledi.
Veri güvenliği ön planda tutularak, fiziksel veri kümesi ve bilgi işlem izolasyonu sunan ve aynı zamanda bir departmanın başka bir departmana veya ekibe kendi verilerine kısmi veya tam erişim izni vermesini kolaylaştıran bir veri platformunun oluşturulmasına da vurgu yapıldı. .
Pak, “Bir veri sahibinin, veri platformundaki verilerine daha fazla sahip çıkmasını ve erişim kontrolünü yönetmesini istiyorsak, kontrolü kolayca yönetebilmeleri için bir yol bulmamız gerekiyor” dedi.
Bunu başarmak için Reece, veri platformu ekibine ait bir AWS hesabında Databricks’i kurdu. Daha sonra her departman için kendi AWS hesaplarında bir Databricks çalışma alanı oluşturdu ve bulut depolama alanı ile bilgi işlem kapasitesini atadı.
Pak, “Bilgi işlem açısından, her çalışma alanı, departman düzeyinde paylaşılan bir kümeye ve paylaşılan SQL deposuna sahip olacak ve ardından belirli bir ekibin platformu gerçekte ne kadar kullandığına bağlı olarak, aslında onlar için ekip tabanlı kümeler oluşturabiliriz” dedi. .
“Bazı özel kullanım örnekleri ve senaryolar için, bazı bireysel kullanıcılar kendi bilgi işlemlerine ihtiyaç duyabilir ve biz bunu yalnızca anlık istek temelinde yapacağız.”
Pak, kuruluşun bazı sorgu işlemleri için sunucusuz SQL depolarından da yararlandığını belirterek, bunun “kullanıcı deneyimi ve maliyet açısından çok olumlu bir etki yarattığını” söyledi.
Reece, çalışma alanları kullanıma hazır hale getirildikten sonra, bir çalışma alanındaki kullanıcıların diğer çalışma alanlarından veri talep etmesine ve (verilirse) verilere erişmesine olanak sağlamak için Unity Catalog’u kullandı.
Unity Catalog, Databricks’in belgelerine göre “Databricks çalışma alanları genelinde merkezi erişim kontrolü, denetim, köken ve veri keşfetme yetenekleri sağlıyor”.
Pak, “Unity Catalog’un izin modeliyle, artık çalışma alanındaki veri sahibinin, farklı bir çalışma alanından başka bir ekibe kendi verilerine ve muhtemelen verilerinin yalnızca bir kısmına erişim izni vermesine izin verebiliyoruz” dedi.
Pak, sonucun veri güvenliği ve kullanıcı self-servis hedeflerine ulaşmanın yanı sıra veri erişimi için daha merkezi olmayan sorumluluk ve hesap verebilirliği teşvik ettiğini söyledi.
“En önemli şey, kuruluşlarınız içinde verileri bir ürün olarak ele alma kavramı hakkında bir görüşme yapmaya başlamak ve veri sahipliğinin sorumluluğunu, yalnızca kaynak sistemin sürdürülmesinden, verilerinin sistem genelinde nasıl kullanıldığına ilişkin sorumluluğu gerçekten üstlenmeye doğru genişletmeye çalışmaktır. organizasyon,” dedi Pak zirve izleyicilerine.
“Bu aynı zamanda BI ekibinizin yükünü daha stratejik şeyler üzerinde çalışmaya ayırmanıza da yardımcı olacak.”