Veriler her zaman bir kuruluşun taç mücevherleri olarak kabul edilmiştir, ancak veri kaynaklarının patlaması nedeniyle, bir işletmenin farklı veri depolarında yer alan yapılandırılmış ve yapılandırılmamış bilgileri anlamlandırmak giderek daha karmaşık bir görevdir. İş faaliyetine homojen bir görüş sağlamak için her şeyi bir araya getirmek, asla bitmeyecek bir proje gibi görünebilir, bu yüzden şimdi veri mühendisliğine ilgi var.
Analist Gartner’a göre, veri mühendisleri kuruluşların verilerin değerinin kilidini açmalarını sağlamada önemli bir rol oynamaktadır. Bu, veri toplamak, depolamak, dönüştürmek, operasyonel hale getirmek ve verileri ölçekte sunmak için sistemlerin tasarlanmasını ve oluşturulmasını içerir. Analist firması, veri mühendisliğinin, uygun verileri erişilebilir hale getirmek ve veri bilimcileri veya veri analistleri gibi çeşitli veri kullanıcıları için uygun hale getirmek için iş ve BT arasında işbirliğini içerdiğini söylüyor.
Gartner Veri mühendislerinin başarılı olması için temel beceriler Rapor, veri mühendisliğinde gereken bir dizi beceriyi tanımlar. Rapor Yazarları Mayank Talwar, Zain Khan ve Shubhankar Nandi Yapılandırılmış Sorgu Dilini (SQL) çok çeşitli araçlar ve platformlarda yaygın olarak tanımlayarak kritik ve genişletilebilir bir beceri haline getiriyor. SQL’in yaygınlığının bir örneği olarak, bir veri dönüştürme aracı olan DBT’nin veri mühendislerinin sadece seçkin SQL ifadeleri yazarak depolarındaki verileri dönüştürmelerini sağladığını belirtiyorlar.
Raporda tanımlanan ikinci temel beceri, “her veri mühendisinin sahip olması gereken temel beceri” olarak tanımlanan veri işleme. Bunun nedeni, ham formatındaki verilerin analitik için genellikle yararlı olmamasıdır. Veri işleme, parti ve gerçek zamanlı işlemeyi kapsar; Depolama, veri gölleri, veri ambarları, grafik ve belge veritabanları ve nesne depoları gibi teknolojileri kapsar. Veri mühendisliği ekipleri tarafından kullanılan ortak programlama dilleri arasında Python, Java ve Scala bulunmaktadır.
Gartner tarafından listelenen diğer temel beceriler arasında veri depolama, veri düzenleme, programlama ve işbirliği bulunmaktadır. Veri düzenlemesi ile ilgili olarak, analistler, veri mühendisliği boru hatlarının, Apache Airflow ve Luigi gibi görev güdümlü mimarileri destekleyen araçlardan yavaş yavaş hareket ettiğini ve Dagster, Flyte’den Lyft ve Gözden Geçirme.
Gartner, BT liderlerinin temel veri mühendisliği becerilerinin geliştirilmesine öncelik vermelerini önerir, çünkü yaygın olarak benimsenmiş, yoğun bir şekilde kullanılır ve önemli faydalar sağladıkları kanıtlanmıştır.
Daha basit bir yaklaşım mı?
Kullanıcıların planlama ve analiz için kullanabileceği formatta işletmeye zamanında kurumsal veri sağlama amacına ulaşmak için daha basit bir yaklaşımı değerlendirmek için bir durum vardır. Bu, geleneksel kurumsal kaynak planlama (ERP) sistemlerinin sağlayıcıları, kuruluşların gerçeğin tek bir versiyonuna sahip olma ihtiyacı etrafında bir iş kurma fırsatı görüyor. ERP perspektifinden bakıldığında, gerçeğin bu tek versiyonu bir ERP sistemi oluşturan kayıt sistemlerinde bulunur.
Örneğin SAP, süreç madenciliği ve diğer araçlarla birlikte abonelik temelinde bulut merkezli bir teklif olarak tüm bir sistem ve uygulama yığını sunar, ayrıca destek, bakım ve diğer hizmetler.
Analist firması Freeform Dynamics’in kurucu ortağı Dale Vile, SAP’nin İş Teknoloji Platformu’nun (BTP) tedarikçinin bulut teklifinin ayrılmaz bir parçası olarak kabul edilebileceğini belirtiyor. BTP aslında müşterilerin SAP uygulamalarını genişletmesine ve/veya özel uygulamalar oluşturmasına olanak tanıyan bir hizmet olarak (PAAS) bir platformdur.
Vile, “Bazı müşteriler için, bu tür her şeyi kapsayan hizmet gerçekten çekicidir, çünkü artık sistem seviyesi işlemleri, izleme, güvenlik vb. Hakkında endişelenmek zorunda kalmadıkları anlamına gelir” diyor Vile. “SAP manzaralarını zamanla koşmak ve değiştirmek için bu kadar zorlayıcı yapan birçok şey, sözleşmeyi imzaladıktan sonra hallediliyor.”
Sözleşme bir kuruluşu etkili bir şekilde SAP’ye bağlar. Esneklik geliştirmek için bir durum olsa da, bazı kuruluşlar için gerçeğin tek bir versiyonuna sahip olmak ve tüm verileri tek bir yerde olması çok daha önemlidir. Veri Müdürü Liz Cotter’ın açıkladığı gibi, İrlanda imalat firması Waterwipes’de durum böyle.
Gelişmiş analiz otomasyonunuza sahip olabilirsiniz, ancak ana verileriniz doğru değilse, işlem verileriniz değersizdir
Liz Cotter, Waterwipes
Daha önce, bir hizmet olarak yazılım (SAAS) sistemleri SAP ile birlikte oturdu ve “SAP ile entegre edilmiş, ancak tam olarak uyumlu değildi” diyor. Başka bir deyişle, organizasyon insan kaynakları veya müşteri hizmetleri gibi belirli iş süreçlerini desteklemek için üremenin en iyisi SaaS ürünlerini seçti. Cotter, bunun SAP’nin işletme tarafından kullanılan bazı yeni veri kümelerinin kayıt sistemi olmadığı anlamına geliyor.
SAP Datasphere, işletmenin, kuruluşun verilerinin ana kopyasını sağlayan işlem verileri için bir kayıt sistemi olarak standart bir platform çalıştırmasını sağladığını söylüyor. “SAP’nin geçiş yaptığını ve zenginleştirilmiş verilere olan talebi karşılamak için daha fazla araç sunduğunu hissediyorum” diyor.
Cotter, Ocak 2024’te veri yönetimi ve veri yönetişimi yapmak için bir görev ile Waterwipes’e katıldı. Şirketin mevcut verileri en iyi şekilde kullanmadığını, bu da içgörü kazanmak ve stratejik anahtar performans göstergeleri (KPI) ile uyumlu olmaya yardımcı olmak için kullanılabileceğini söyledi.
“Veri olgunluğumuzu değerlendirdiğimizde, veri yönetişimi ve veri güvenliği yoktu. Bu riski hızlı bir şekilde azaltmaya yardımcı olacak bir araca ihtiyacımız vardı ”diyor.
Cotter’ın belirttiği gibi, başarılı BT odaklı iş girişimleri sağlam bir veri vakfı gerektirir. “Gelişmiş analiz otomasyonunuza sahip olabilirsiniz, ancak ana verileriniz doğru değilse, işlem verileriniz değersizdir” diyor. Cotter için, veriler mümkün olduğunca doğru olmadığı sürece yeni teknolojiye yatırım yapmanın çok az anlamı var.
Şirket, Maextro Master Veri Yönetimi aracını uygulamak için Bluestonex ile çalışmaya başladı. Bu SAP BTP’de geliştirilmiştir ve su kurtları için veri yönetişimi ve veri yönetimi sağlar.
Cotter, “Temel olarak veri, iş akışları ve veri raporlamasını yönetmek için bir uygulama” diyor.
Bu, SAP geliştiricilerinin doğrudan şirketin S/4HANA sisteminde sorguları çalıştırmak zorunda kalmasını önler. Veri olgunluğu açısından Cotter şöyle diyor: “Uzman seviyesine ulaşamayacağız, ancak satış ve müşteri büyümesi açısından çok iddialı olan 2027 stratejimize uyum sağlamak istiyoruz.”
Aşamalı yaklaşım, teknolojiye yatırım yapmadan önce önce veri yönetişimi ve veri yönetimi en iyi uygulamalarını oluşturmayı içermektedir.
Destekleme AI
Yapay Zeka (AI) ile daha fazlasını yapma eğilimi göz önüne alındığında, Gartner analistleri BT liderlerini veri mühendislerinin kendilerini yükseltme ihtiyacını tanımalarını sağlamaya çağırıyor. Gartner’a göre, veri mühendisleri, kurumsal verileri konusunda dil modellerini eğitmeye karar veren şirketler için veri temel katmanını oluşturmaya katılmak istiyorsa, bu upkilling gereklidir.
“Genai ile [generative artificial intelligence] Verileri Eğitim için İştah Üstün Yükselen Veri Mühendisleri, bu modelleri eğitmek için gereken yüksek kaliteli verileri sağlayabilen veri platformları ve boru hatları oluşturmada çok önemli bir rol oynayabilirler ”diye belirtiyor Analistler Veri mühendislerinin başarılı olması için temel beceriler rapor.
Gartner, şirketlerin maliyet, gizlilik, risk ve doğruluk üzerindeki daha fazla kontrol için daha küçük, daha rafine ve iş kürekli dil modelleri oluşturmaya başlayacağını tahmin ediyor. Gartner, veri mühendislerinin yapılandırılmamış verilerle nasıl çalışılacağını öğrenmeleri ve bu modellerin oluşturulmasını sağlamak için veri depoları oluşturmaları gerekeceğine inanıyor.
İdeal olarak, BT liderlerine bir veri mühendisliği uygulaması geliştirmek için zaman ve kaynak verilecek, ancak bu olası değildir. Cotter’ın Waterwipes’teki deneyimi, veri yönetimi yolculuklarında hala erken olan kuruluşların bile iş değerini nispeten hızlı bir şekilde elde etmesinin tamamen mümkün olduğunu göstermektedir. Bir uyarı, bunun bir ERP sistemi gibi belirli bir ürün setine bağlanmayı içerebilmesidir.