Suncorp, sigorta acentelerinin bilgiye erişimini iyileştirmek için ‘SunGPT’ adını verdiği üretken bir yapay zeka motoru geliştirdi.
Suncorp’un Kranthi Nekkalapu’su.
Motor, acentelerin müşteri katılımı, talepler ve politikalarla ilgili müşteri sorularını yanıtlamak için kullanabilecekleri birden fazla büyük dil modelini (LLM) barındırmak ve yönetmek için Databricks’in Mosaic AI hizmetlerini kullanıyor.
Bu, ChatGPT, Azure Open ve AWS Bedrock’u kapsayan LLM’leri barındırmak ve yönetmek için yapay zeka modellerini dağıtmak, yönetmek ve sorgulamak için birleşik bir hizmet olan Mosaic AI Model Serving’i içerir.
Suncorp şu anda SunGPT’yi kişiselleştirilmiş müşteri hizmeti, siber güvenlik ve operasyonel verimlilik, uyumluluk ve risk yönetimi, pazar araştırması ve stratejisi gibi kullanım örneklerine odaklıyor.
Suncorp’un ayrıca 20 tane daha kullanım senaryosu geliştirme aşamasında olup, bunların bu yıl sigortacının iş süreçlerine entegre edilmesi hedefleniyor.
Suncorp sözcüsü şunları söyledi: iThaberler SunGPT’nin “Databricks’i kullanan ve müşteri ve operasyonel verilerimizi piyasadaki en iyi üretken AI modelleriyle güvenli ve emniyetli bir şekilde bağlayan Suncorp’un AI platformu” olduğunu söyledi.
Sözcü, “Bu, Suncorp’un veri bilimcilerinin çalışanlarımıza belirli kullanım durumlarında yardımcı olmak için uygulamalar geliştirmek amacıyla halihazırda kullandıkları bir platformdur” dedi.
“Bir örnek, bu platformda devreye alınan ve şu anda ev sigortası talepleri ekibimiz tarafından kullanılan ve 1000’den fazla çalışanı destekleyecek şekilde ölçeklenen ‘tek talep görünümü’dür.”
Sigortacının son FY24 sonuçlarında ‘Tek talep görünümü’nden bahsediliyordu ancak o dönemde bu yeteneğin nasıl sağlandığı belirtilmemişti.
Sidney’de düzenlenen Databricks Veri ve Yapay Zeka Zirvesi’nde konuşan Suncorp Yapay Zeka yöneticisi Kranthi Nekkalapu, SunGPT’yi “çerçevelerin, aracı iş akışlarının, oluşturduğumuz çok sayıda kodun, bariyerlerin ve güvenli bağlantılar aracılığıyla farklı modellere erişimin bir kombinasyonu” olarak tanımladı.
Modeller, ajanların sorularına yanıtlar sunmak için hem yapılandırılmamış bilgilerden hem de verilerden yararlanıyor.
Nekkalapu, orkestrasyon katmanının gerçek zamanlı olarak farklı yerlerden veri alabildiği bilgisini verdi.
Doğru denge
Nekkalapu, SunGPT yapısının doğruluk, ölçeklenebilirlik, performans ve maliyet konusunda zorluklarla karşılaştığını söyledi.
Motorun doğruluğunu mükemmelleştirmek hakkında konuşan Nekkalapu, “Modelin neredeyse tamamlandığını düşündüğünüz ancak bilginin yeterli olmadığı birçok senaryo var.” dedi.
Bu arada ölçeklenebilirlik ve performans, SunGPT’nin binlerce kişiye gerçek zamanlı hizmet verebilme yeteneğiyle daha çok ilgiliydi.
“İstemiyorsun [the agents] Nekkalapu, “soruyu sormak ve ardından yanıtlar için bir veya iki dakika beklemek zorunda kalmak” dedi. “Bu beklentileri karşılamak önemlidir – maliyet de öyle.”
“Geleneksel makine öğreniminin aksine, üretken AI ile ilgili bir şey maliyettir,” diye devam etti. “Bu modelleri edindiğinizde; bunları dağıttığınızda, GPU’lara ihtiyacınız olduğunu ve GPU’ların çok pahalı olduğunu fark ediyorsunuz. Ve maliyetler farkına varmadan bile patlayacak.
“Bunların hepsini birlikte optimize etmeniz gerekir. Maliyetleri düşürmeye çalışırsanız, doğruluk zarar görür. Çok doğru bir çözüm istiyorsanız ve bununla iyiyseniz [the] “Maliyet, saniyeler içinde bir yanıt döndürmeyecek.”
Nekkalapu’ya göre, “bu dörtlü arasında doğru dengeyi bulmaya” hatırı sayılır miktarda zaman ayrılmıştı.
Risk yönetimi
Üretken yapay zeka içeriğinin kullanılmasının potansiyel riskleri nedeniyle SunGPT’yi geliştirme süreci önemli miktarda test ve geri bildirim gerektirdi.
“Tüm bu üretken AI uygulamalarının kendi riskleri var,” dedi Nekkalapu. “Metin üretiyoruz, bu nedenle prensiplerinizle uyuşmayan bir şey üretmeniz her zaman mümkün.”
SunGPT’yi sürekli izlemek için Databricks Lakehouse Monitoring’i kullanmanın “çok önemli” olduğu kanıtlandı.
Ayrıca Suncorp, prototipin doğruluğu ve kullanıcı deneyimi hakkında geri bildirim sağlamaları istenen konunun uzmanlarından (SME) yardım istedi.
“KOBİ’lerimizi sürece çok erken dahil ettik çünkü yine makine öğreniminin aksine, net ve nesnel bir değerlendirme yönteminiz yok. Teknik bir uzmana iyi bir yanıt olabilecek bir şey, konu uzmanı tarafından incelendiğinde tamamen yanlış bir yanıt gibi görünebilir,” dedi.