NAB, verileri kaynak sistemlerden merkezi bir veri platformuna almak için gece boyunca yapılan toplu işlemlere bağımlılığını istikrarlı bir şekilde azaltırken aynı zamanda operasyonel maliyetlerini de azaltıyor.
San Francisco’daki Databricks Veri+Yapay Zeka Zirvesi’nde konuşan veri platformları yöneticisi Joanna Gurry, bankanın ikinci nesil veri platformu olan Ada’nın, varlığının ilk kez ortaya çıktığı 2022 sonlarında ortaya çıkmasından bu yana en kapsamlı görünümünü sundu.
Databricks’i özünde AWS üzerinde çalıştıran Ada, aralarında NAB Data Hub (NDH) ve bir dizi bankacılık işleminin “içsel” olduğu düşünülen 26 yıllık Teradata ortamının da bulunduğu birçok büyük veri platformunun yerini alıyor.
Veriler, her gece gerçekleştirilen toplu işlemler yoluyla bu önceki ortamlara giriyor ve bazı kaynak sistem sahipleri için bir tür toplu program cehennemi sunuyordu.
“Dosyaları günün çok geç saatlerinde veya gece boyunca çıkarmak zorunda kalmak, operasyonel ekiplerinin, çıkardıkları ve veri gölüne ve veri ambarına gönderdikleri devasa dosyaların sağlam bir şekilde ulaştığından emin olmak için gece boyunca çok dikkatli olmaları gerektiği anlamına geliyor dedi Gurry.
Süreç aynı zamanda her gece büyük miktarda yinelenen verinin toplanıp yüklendiği anlamına da geliyordu.
Ada’daki (veya daha spesifik olarak Fivetran tarafından sağlanan yığındaki bir araçla) yapılan en önemli değişikliklerden biri, bankanın “dosya tabanlı beslemeden uzaklaşmasına” ve neyin çıkarılacağı ve kopyalanacağı konusunda daha seçici olmasına izin vermesidir. merkezi veri platformu.
Banka, kaynak sistemlerle arayüz oluşturmak için Fivetran’ın veri konektörlerini ve kaynak sistemdeki yenilikleri çözmek ve bunu Ada’ya gerçek zamanlı olarak iletmek için “veri yakalamayı değiştirme” işlevini kullanıyor.
Teorik olarak bu, banka için çok daha verimli olmalı ve Gurry’nin zirveye katılması bu verimliliği ilk kez ölçtü.
Gurry, “Bu yaklaşımdan elde edilen birkaç fayda kesinlikle depolamanız gereken veri hacmi civarındadır; dolayısıyla bulut, işleme ve depolama maliyetlerinde azalmalar görüyoruz” dedi.
“İlk yıl içinde alım maliyetlerinin yaklaşık yüzde 50 oranında düştüğünü gördük.
“Performans da gerçekten çok iyi; hem makine öğrenimi modellerinin hem de SQL’de yazılan geçici sorguların performansında yüzde 30’luk bir artış gördük ve bazı durumlarda bundan çok daha hızlı.
“Yani, faydalar kesinlikle artmaya başlıyor.”
Gurry, kaynak sistemi sahiplerinin Fivetran’ın kullanımını, teknolojinin sürekli olarak değişiklikleri kontrol ettiği kaynak sistem üzerinde performans üzerinde bir etkisi olmayacağını anladıklarında desteklediklerini söyledi.
“Fivetran araçları sistemlerine bağlanıyor ve [the changed data] sadece gündüz ve gece boyunca akıp gidiyor” dedi. “Bu onlar için büyük bir rahatlama.”
Daha fazla veri getirme
NAB, Ada’da temsil edilen “200’den fazla” kaynak sistemden veri almayı hedefliyor.
“Bir yılda 80 sistem yükledik; İkinci yılımızın yarısında zaten 120 sisteme ulaştık ve 200’ü aşmaya doğru gidiyoruz” dedi Gurry.
Kullanım planına NAB’nin intranet’i aracılığıyla personel erişebilir.
Gurry, “Her bir kaynak alımında tam olarak nerede olduğumuzu ve ne zaman gerçekleşeceğini yayınlıyoruz, böylece bunların hepsi şirket içinde çalışan herkesin erişimine açık oluyor” dedi.
Teknik ilerleme, beş kangurunun resimli illüstrasyonlarını içeren bir gösterge tablosu kullanılarak takip ediliyor.
“Her kaynak sistemi, bitmeden ve işimizin bittiğini söyleyip bir sonraki sete geçmeden önce bu beş ‘kanguru’ standardını karşılamak zorundadır.
“Bir kontrol panelimiz var ve üzerinde beş kanguru var ve aslında her birine tıklayıp gereksinimleri kimin imzaladığını, test raporunu kimin çalıştırdığını, test raporunun nerede olduğunu, test sonuçlarının nasıl çalıştırıldığını görebilirsiniz. ve bu şeyi yükledikten sonra 14 gün boyunca hiçbir kesinti olmadan yayınlandığını, işlem hatlarının stabil olduğunu ve hiper bakımdan çıkabildiğimizi söyleyen tüm ekran görüntüleri.
“Bu aslında kendi ekiplerimiz için harika çünkü işlerine başlamadan önce bitirmeleri gereken herhangi bir yüke bağımlı olup olmadıklarını takip edebiliyorlar ve denetçiler de bundan hoşlanıyor çünkü her şey kendi kendine hizmet ediyor… ve istedikleri zaman her şeyi alabiliyorlar. .
“Bunun sadece kendi ekibimizin değil, aynı zamanda paydaşlarımızın ve kullanıcı topluluğumuzun da güvenini kazanmamızın bir yolu olduğunu düşünüyorum.”
Meta veri yakalama
Ada ile ilgili çalışma programının bilinen bir kısmı da veri sözlüğü tanımları, sınıflandırma ve veri kökeni gibi iş meta verilerini Databricks Unity Catalog’da merkezi olarak belgelemektir.
Bu, özellikle kaynak sistemlerin daha eski olduğu ve “bu sistemler etrafındaki bilgilerin bir kısmının zamanla dağıldığı” durumlarda önemli bir iştir.
“Bankada bu veritabanlarından bazılarının içinde ne olduğunu gerçekten bilen neredeyse hiç kimse yok. Bunları çalıştıran uygulama ekiplerinin bile bir veri sözlüğü olmayabilir.
“Yani Unity Catalog’da yeni bir meta veri deposu oluşturuyoruz. Bunları muhtemelen ilk kez yaşadığımızı söyleyebilirim. [hundreds of] tüm iş meta verilerinin ve teknik meta verilerinin tek bir yerde belgelendiği sistemler.”
Yapay zeka sıçrama tahtası
Gurry, verilerin “tükenmez bir kaynak” olduğunu ve bunu destekleyecek veri platformu altyapısı olduğu sürece birçok yeniden kullanım fırsatına sahip olduğunu belirtti.
“Bunu bir kez oluşturup yüklerseniz, dijital işlem hatları, geleneksel iş zekası ve düzenleyici raporlamanın yanı sıra aynı zamanda yeniden kullanımla kendinizi gerçekten başarıya hazırlamış olursunuz. [created] makine öğrenimi için ihtiyacınız olan platform” dedi.
“Bizim için, [Ada] aynı zamanda şu anda peşinde olduğumuz tüm heyecan verici GenAI kullanım örneklerini mümkün kılmak için bir sıçrama tahtasıdır.”
Gurry, bu ayın başlarında yayınlanan bir makalede de yayınlanan çeşitli kullanım örneklerini gündeme getirdi. Bu listede yer almayan bir örneği şöyle dile getirdi: “Kampanyalarda değişiklik yapılmasını sağlamak için GenAI’yi kullandığımız bir ses tonu uyumu yapıyoruz ve [personalised] NAB’ın ses tonuna daha da uyum sağlayacak iletişimler.”
Ry Crozier, Databricks’in konuğu olarak San Francisco’daki Databricks Veri+Yapay Zeka Zirvesi’ne katıldı.