Commonwealth Bank, çoğu soruya bankaya özel yanıtlar verebilecek bir yapay zeka asistanıyla mühendislerin bulutla ilgili yapılandırma zorluklarını gidermeye çalışırken harcadıkları zamanı hedef alıyor.
(LR) CBA’dan Jason Sandery ve AWS’den Rovan Omar.
Banka, re:Post Private adlı bir AWS hizmetini kullanarak merkezi bir bilgi tabanının dağıtımını kamuoyuna duyurmak için AWS’nin ABD’deki yıllık re:Invent konferansını kullandı.
re:Post, AWS’nin, uygulamalar sırasında karşılaşılabilecek engellerin çözülmesine yardımcı olmak için müşterileri ve uzmanları birbirine bağlayan, halka açık bir forum olarak adlandırdığı şeydir.
Bu konsept, o zamandan beri, AWS müşterilerinin kendi dahili bilgi paylaşım topluluklarını oluşturmak için kullanabileceği, soruları cevaplanamadığı takdirde yine de AWS uzmanlarına ulaşma olanağına sahip, kendi başına bir ürüne (re:Post Private) dönüştürüldü. cevaplanacak.
Geçen ayın sonlarından itibaren re:Post Private, üretken yapay zeka uygulamaları oluşturmaya yönelik yönetilen bir hizmet olan Amazon Bedrock ile entegre hale geldi. Bu, yapay zeka destekli bir aracının, gerçek kişilerin yanıtları yazmasına ihtiyaç duymak yerine, sorulara bağlamsal yanıtlar sunabileceği anlamına gelir.
CBA’nın re:Post Private örneği yeni; bankanın bulut hizmetlerinden sorumlu başkanı Jason Sandery, re:Invent’in açılış gününde sahnede halka açık olarak tanıtılmadan önce, şirket içi bir “lansman partisinin” yalnızca geçen hafta düzenlendiğini söyledi.
Sandery, bankanın genel bulutla ilgili uzun geçmişine, ancak özellikle son yıllarda optimizasyona odaklandığına dikkat çekti.
Bu daha önce, yeni işlevlerin veya uygulamaların hızlı ve güvenli bir şekilde sunulmasını sağlayan DevSecOps ve kaynak tedariğinin iş yükü ihtiyaçlarıyla uyumlu hale getirilmesi ve maliyetlerin azaltılması için FinOps etrafında başlatılan girişimler şeklini almıştı.
Optimizasyon odağı artık yeni bir ufka, yani bilgiye doğru genişliyor.
“Platformumuzda her gün binlerce yazılım mühendisinin çalıştığı göz önüne alındığında, teslimatın optimizasyonu önemli ve gerçekten önemli” dedi.
Bağlamsal bilgi ve zekaya erişim, geliştiricileri ve yazılım mühendislerini akıllarına takılan soruların yanıtlarını çok daha hızlı bir şekilde bir araya getirme arzusuyla bankanın en son optimizasyon hamlesidir.
Bugüne kadar, sorunlarla karşılaşıldığında mühendisler genellikle birden fazla arama yapmak, teknik incelemeler okumak ve destek bildirimlerini AWS veya CBA’nın bulut ekibine kaydetmek zorunda kalıyor; bu da uygun bir çözüm bulmak için saatler veya günler anlamına gelebilir.
Sandery, bu kişisel araştırma ve bekleme dönemlerini, bulut tabanlı hizmetlerin ve uygulamaların sunumunda “sürtüşme noktaları” olarak nitelendirdi.
“Bazı geliştiricilerimin ya da grup geliştiricilerinin ihtiyaç duydukları doğru bilgiye ulaşamadıkları için bir şeyler yapamadıkları bir dönem” dedi.
“Platformunuzda her gün binlerce geliştirici çalışıyorsa ve onlar önemli şeyler yapıyorsa, zamandaki bu blokların her biri israfı temsil eder.
“Bu kadar zaman eklenince oldukça fazla olabiliyor. Birkaç günden bahsediyorsun.
“En baştan doğru bağlamsal cevabı alamamak buna yol açan şey [wastage occurring] … ve bizim gerçekten yapmaya çalıştığımız şey bu [fix].”
Sandery, bankanın “mühendislik ve DevSecOps konusunda oldukça inatçı bir görüşe sahip olması” ile düzenleyici gerekliliklerin birleşiminin, mühendislerin CBA ortamında karşılaşılan benzer sorunları çözmek için geçmiş deneyimlere dayanamayacakları anlamına geldiğini söyledi.
Çoğu zaman eksik olan parça, finansal ortamda mevcut kontrollerle sorunların nasıl giderileceğine dair spesifik bilgiydi.
re:Post Private artık ayağa kalktığında, ilgili bir yanıt alma süreci çok daha kolay olacaktır.
“re:Post Private tek bir camdan ibarettir, arama motoru yoktur [required]. Mühendis sorusunu sorar, re:Post bunun bir CBA mühendisi olduğunu anlar ve ilk seferde CBA bağlamına dayalı yanıtı verir.
“Bağlamsal bilgilerin orada bulunmasının önemi yalnızca günlerce süren çabalardan değil, aynı zamanda hayal kırıklığı yaratan noktalardan da tasarruf sağlıyor.
“Mühendisler olarak, bir şeyi yapabileceğinizi bildiğinizde daha kötü bir şey olamaz; [else is] bu nedenle farklı bir şekilde yapılması gerekiyor ve bunu durduran tek şey doğru bağlamdır.”
İlgili bilgiyi bulma
Sandery, re:Post Private’ın kurulumu için perde arkasında AWS ile iş birliği içinde bazı “ağır çalışmalar” yapıldığını söyledi.
Banka, on yılı aşkın bir kullanım sonrasında bulut yapılandırması ve en iyi uygulamalar hakkında önemli bir “kabile bilgisi” oluşturmuştu, ancak bu bilgi çeşitli ceplerde saklanıyordu: AWS ve CBA ile kaydedilen destek bildirimlerinde, Teams sohbetlerinde, Jira’da, Confluence’da saklanıyordu. , SharePoint ve benzerleri.
Bu bilgi depoları aranabilir değildi ve aynı soruların defalarca sorulmasına ve aynı kişiler tarafından yanıtlanmasına yol açtı.
Sandery, “Hiçbir mühendis birbirinin aynısı değildir, ancak size garanti ederim ki onların sorunlarının çoğu aynıdır ve kanallarımızın çoğunda aynı soruların sorulduğunu gördük” dedi Sandery.
“Bu sinir bozucu [internal] Müşterilerin yanı sıra bu taleplere hizmet veren teknik topluluk için de.”
Sandery, bankanın mühendislerin “fikirlerini ve bilgilerini paylaşabilecekleri” ve bilgilerin “indekslenebileceği” ve tekrar tekrar kullanılabileceği bir yer kurmaya kararlı olduğunu söyledi.
Sandery, “Benim dünyamda ve grubumuzda gerçekten akıllı pek çok mühendis var” dedi.
“Harika fikirleri var ve bunları paylaşmayı seviyorlar, ancak bu bilgilerin hızlı ve kolay bir şekilde saklanıp yeniden kullanılabileceği merkezi bir yer yoktu.”
Sandery, bankanın platforma hangi bilgilerin getirileceğini belirleme konusunda “oldukça seçilmiş bir yaklaşım” benimsediğini ve “daha azının daha fazla” olduğu görüşünü benimsediğini söyledi.
Yeni sorular
Mühendislerin re:Post Private’ta AWS kaynaklarında veya CBA depolarında mevcut bilgilerin bulunmadığı ve bu nedenle AI asistanının iyi bir yanıt üretemediği yeni sorular sorduğu durumlarda, soru AWS desteğine veya AWS teknik ekibine iletilebilir. bankayla çalışmak üzere atanan hesap yöneticisi.
Bu eylem aynı re:Post Private platformunda gerçekleştirilebilir ve bilgiler CBA’ya özgü veri havuzlarına dahil edilir; Bedrock bundan yararlanır ve aynı soru bir daha sorulduğunda onlardan bilgi alır.
Yanıtlar ayrıca re:Post Private’ta olumlu oylama ve olumsuz oylama mekanizması kullanılarak iyileştirildi.
“Motorun devam eden optimizasyonunu diğer AI modellerine göre biraz daha kolaylaştıran gerçekten harika bazı özellikler var ve bu, ağırlıklı olarak re:Post Private için oylama yukarı ve aşağı düğmelerinin bulunduğu arayüz, aslında oyunu ayarlamanın oldukça ustaca bir yolu. Sandery, “Motor doğru yanıtlara odaklanıyor” dedi.
“Faaliyetli topluluğunuz [of engineers] o ürünü sürekli olarak ayarlamak için bu yanıtlarla etkileşime girmesi gerekiyor.
Destek bildirimi hacimlerini azaltmak için bilgi erişimi
Sandery, CBA’da kendi AWS hesabı olan veya mevcut bir hesaba erişim izni verilen herkesin re:Post Private’a otomatik olarak dahil edildiğini söyledi.
Araç aynı zamanda “yolculuğa çıkacak” mühendislerin yanı sıra “artık araçları kullanamayan ancak erişim isteyen bazı mühendislik liderlerimize” de sunuluyor.
Sandery, Sidney, Melbourne, Brisbane ve Hindistan arasında bölünmüş 120 mühendisten oluşan kendi ekibi için re:Post Private’ı hayata geçirme hedefinin, doğrudan yanıtlamaları gereken dahili destek sorularının hacmini azaltmak olduğunu ekledi.
Çok sayıda dahili destek bileti var” dedi.
“AWS’yi ve daha da önemlisi CBA bilgi tabanlarını birleştirerek ve önceki destek sorunlarımızdan bazılarına referans verip tekrar oynatarak ekibime kaydedilen destek bildirimlerinin yaklaşık yüzde 30’unu azaltmayı hedefliyoruz.”
Ry Crozier, AWS’nin konuğu olarak Las Vegas’ta düzenlenen AWS re:Invent 2024’e katılıyor.