Carsales, gelen verileri tek bir kanalda birleştirerek satış potansiyellerini neredeyse gerçek zamanlı olarak artırmak için tasarlanmış bir proje başlattı.
Carsales’tan Adam Carbone.
Veri mühendisliği lideri Adam Carbone, Melbourne’deki Snowflake Data World Tour’da şirketin tanıdık bir evrim izlediğini ve sonunda birden fazla teknoloji ekibinin işin farklı bölümlerine dağıldığını söyledi.
Carbone, “Bu ekipler, farklı veri platformları üzerinde bağımsız olarak çalışarak, farklı araçlar ve farklı uygulamalar kullanarak kendi boru hatlarını inşa ediyorlardı” diye açıkladı ve bu da “oldukça karmaşık görünen bir mimariye yol açtı”.
Carbone’un karşılaştığı zorluk, bayilerden araç tedariki gibi ipuçlarını Carsales’in satış platformuna olabildiğince hızlı bir şekilde aktarmaktı; bu, şirketin geliştirdiği karmaşık sistemler tarafından giderek daha fazla engelleniyordu.
Oracle veri ambarını ve AWS S3 klasörünü beslemek için dahili veritabanlarının Python, Talend veya Oracle’ın veri entegrasyonu gibi araçlar kullanılarak işlenmesi gerekiyordu; dahili yayınlar, dış yayınlar ve çeşitli Google hizmetlerindeki veriler aynı hedeflere ulaşmak için Spark ve Airflow araçlarından geçiyordu.
Oracle deposu ve S3 klasörü daha sonra Salesforce Marketing Cloud’u ve Tableau raporlama sistemini beslemek için Amazon Redshift tarafından işlendi.
Bunun, “tek bir gerçek kaynağı” olmaksızın, büyük ölçüde parçalanmış verilere yol açtığını söyledi; dahası, ekibi “tüm bunları, hata düzeltmeyi ve bu tür şeyleri sürdürmek için çok fazla zaman harcamak zorunda kaldı.
“Gerçekten zamanımızı eğlenceli şeyler yaparak, yani harika yeni şeyler inşa ederek geçirmeyi tercih ederiz.”
Carbone, mevcut mimarinin değerlendirilmesi ve bazı kavram kanıtlama çalışmalarının ardından Carsales’in veri platformu için Snowflake’i seçtiğini ve kaynakların (veritabanları, RabbitMQ ve web analitiği) Snowflake’i besleyen bir S3 kümesine yerleştirildiğini ve bunun da daha sonra onu beslediğini söyledi. Salesforce Pazarlama Bulutu, Tableau ve ThinkSpot ile oluşturulmuş yeni bir self-servis iş zekası ve analiz yeteneği.
Carsales’in ortakları dönüşüme başka bir ivme kazandırdı.
Bir ekip, Carsales’in Autogate adlı bayi envanter yönetimi sistemine, “canlı pano dedikleri” bir Düşünce Noktası kontrol panelini yerleştirmek istedi.
Eski mimari iş ortağının gerçek zamanlı veri gereksinimlerine ayak uyduramıyordu. Toplu işlem hattı yalnızca dört ila altı saatte bir güncellendiğinden; Carbone’un meslektaşı veri platformları lideri Naresh Sajnani konferansta bunun ortalama altı dakikalık bir veri gecikmesine düşürüldüğünü söyledi.
Hızlı arıza tespiti
Sajnani konferansta, neredeyse gerçek zamanlı boru hattının sağladığı diğer önemli yeteneğin hızlı arıza tespiti olduğunu, çünkü arızaların boru hattı gecikmesinin artmasına neden olduğunu söyledi.
Sajnani, “Akışlar ve görevler açısından çok sayıda hareketli parça var” dedi; “Herhangi bir arıza durumunda bu boru hattını takip edecek bir tür mekanizmaya ihtiyacımız var.
Ayrıca önceki Tableau kontrol panellerinin eski platformlarda çalıştığını da açıkladı.
“Sistemlerimizden birinin çalışıp çalışmadığını öğrenmek için otomatik bir yaklaşım istedik. [is] aşağı,” dedi Carbone.
Sajnani’nin ekibi Anoma Lee adını verdiği bir anormallik tespit sistemi kurdu; kendisi, “sistemlerimizden birinin arızalı olup olmadığını tespit etmeye yönelik otomatik bir yaklaşım” dedi.
Kendisi, dönüşüm gerçekleştiğinde Snowflake’in sağladığı verimli entegrasyonun “Snowflake nesneleri ile harici mesajlaşma sistemi arasında bir arayüz oluşturmamıza olanak sağladığını” söyledi.
Anoma Lee hem görev izleme hem de akış izleme sağlar ve bir eşiğe ulaşıldığında SMS ve çağrı cihazı mesajında bir bildirim başlatır.