Çoğu kuruluş hiçbir zaman kendi yapay zeka modellerini eğitmeyecektir. Bunun yerine çoğu müşterinin yapay zeka konusundaki temel sorunu, temel görevler olan verilerin ince ayarlanması ve iyileştirilmesiyle birlikte onu üretim uygulamalarına ve çıkarımlara uygulamaktır.
Burada önemli olan, erişim artırılmış nesil (RAG) ve vektör veritabanlarının kullanımı, yapay zeka istemlerini yeniden kullanma yeteneği ve kullanıcıların kurumsal bilgileri doğal dilde sorgulamasına olanak tanıyan yardımcı pilot yetenekleridir.
Bunlar, bu hafta şirketin Londra’daki Accelerate etkinliğinde Computerweekly.com’a konuşan Pure Storage yöneticilerinin görüşleri.
Doğal olarak, tanımlanan temel görevler, yakın zamanda piyasaya sürülen Anahtar Değer Hızlandırıcısı da dahil olmak üzere Pure’un depolama donanımı teklifine yakın zamanda eklenen işlevsellik alanlarıyla ve ayrıca talep üzerine kapasite sağlama yeteneğiyle iyi uyum sağlıyor.
Ancak aynı zamanda, “eğitim sonrası aşama” olarak adlandırılan olgunluğun bu aşamasında yapay zekayla mücadele eden kuruluşların karşılaştığı temel zorlukları da gösteriyorlar.
Bu makalede, üretim aşamalarında ve devam eden veri alımı ve çıkarımda müşterilerin yapay zeka depolamasından neye ihtiyaç duyduklarına bakıyoruz.
GPU satın almayın; çok hızlı değişiyorlar
Çoğu kuruluş şu anda çok pahalı olduğundan kendi yapay zeka modellerini eğitmiyor. Bunun nedeni, GPU donanımının satın alınmasının inanılmaz derecede maliyetli olması ve aynı zamanda o kadar hızlı gelişmesi ki, eskimesinin çok yakında gerçekleşmesidir.
Bu nedenle çoğu kuruluş artık eğitim aşamaları için bulutta GPU kapasitesi satın alma eğiliminde.
GPU donanımı bir veya iki nesil içinde geçerliliğini yitirebilecekken şirket içi yapay zeka eğitim çiftlikleri kurmaya çalışmak anlamsızdır.
Bu, Pure Storage’ın kurucusu ve baş vizyon sahibi John “Coz” Colgrove’un görüşü.
“Çoğu kuruluş, ‘Ah, bu ekipmanı satın almak istiyorum, beş yıllık kullanımdan yararlanacağım ve onu beş veya yedi yılda amorti edeceğim’ diyor” dedi. “Fakat bunu şu anda GPU’larla yapamazsınız.
Colgrove, “Bence işler olağanüstü bir oranda iyileştiğinde, satın almak yerine kiralamak daha iyi. Bu tıpkı bir araba satın almak gibi” dedi. “Altı, yedi, sekiz yıl ve daha uzun süre saklayacaksanız satın alırsınız, iki yıl saklayıp yenisiyle değiştirecekseniz kiralarsınız.”
AI öldürücü uygulamanızı bulun
Çoğu kuruluş için yapay zekanın pratik kullanımı modelleme aşamasında gerçekleşmeyecektir. Bunun yerine, işleri için harika bir uygulama geliştirmek amacıyla kullanabilecekleri bir yere gelecek.
Colgrove bir banka örneğini veriyor. “Bir banka söz konusu olduğunda harika uygulamanın müşterinin karşı karşıya kalacağı bir şey olacağını biliyoruz” dedi. “Fakat yapay zeka şu anda nasıl çalışıyor? Müşteriyle etkileşim kurmak için sahip olduğum veritabanlarından tüm verilerimi alıyorum. Bunu başka bir sisteme çekiyorum. Bunu eski bir ETL toplu işlemi gibi dönüştürüyorum, üzerinde haftalarca eğitim harcıyorum ve sonra bir sonuç alıyorum.
Colgrove, “Bu asla harika bir uygulama olmayacak” dedi. “Önemli uygulama benim yapabileceğim bir tür çıkarım içerecek. Ancak müşteriyle yüz yüze gelindiğinde bu çıkarımın normal sistemlerde uygulanması gerekecek.
“Bu, yapay zekayı gerçekten değer elde etmek için uyguladığınızda, onu zaten sahip olduğunuz verilere ve müşterilerinizle zaten yapmakta olduğunuz şeylere uygulamak isteyeceğiniz anlamına geliyor.”
Başka bir deyişle, çoğu müşteri için yapay zekanın zorlukları, üretim aşamasında ve daha kesin olarak, verileri (hızlı bir şekilde) düzenleme ve ekleme ve mevcut yapay zeka modellerinde ince ayar yapmak için bu veriler üzerinde çıkarım yapma becerisinde yatmaktadır. Ve sonra, işleri nasıl daha da geliştirebileceğinize dair bir sonraki fikriniz olduğunda, tüm bunları yeniden yapabilmek.
Pure Storage EMEA baş teknoloji sorumlusu Fred Lherault durumu şöyle özetledi: “Yani mesele aslında modelleri verilerime nasıl bağlayacağımla ilgili? Bu her şeyden önce, verilerimin ne olduğunu bulma, verilerimi düzenleme, yapay zekaya hazır hale getirme ve onu bir model tarafından erişilebilecek bir mimariye yerleştirme konusunda doğru düzeyde mi yaptığım anlamına geliyor?”
Çevik yapay zekanın temel teknik temelleri
Dolayısıyla çıkarım aşaması çoğu yapay zeka müşterisi için temel odak noktası olarak ortaya çıktı. Buradaki zorluk, yapay zeka modellerini üretim ömürleri boyunca oluşturmak ve yeniden yinelemek için verileri düzenleyebilmek ve yönetebilmektir. Bu, müşterilerin kendi verileriyle çevik bir şekilde bağlantı kurması anlamına gelir.
Bu, vektör veritabanları, RAG ardışık düzenleri, yardımcı pilot yeteneği ve hızlı önbelleğe alma ve yeniden kullanımı içeren teknolojilerin kullanılması anlamına gelir.
Bunlarla ilgili olarak depolamaya ilişkin temel zorluklar iki yönlüdür. Bu, örneğin RAG veri kaynaklarına ve vektör veritabanlarına bağlanabilmek anlamına gelir. Bu aynı zamanda depolama kapasitesindeki büyük sıçramaların üstesinden gelebilmek ve buna olan ihtiyacı azaltabilmek anlamına da geliyor. İkisi sıklıkla birbiriyle bağlantılıdır.
Lherault, “Verilerinizi vektör veritabanlarına yerleştirdiğinizde ilginç bir şey olur” dedi. “Bazı hesaplamalar gerekiyor, ancak daha sonra veriler daha sonra aranabilecek vektörlerle artırılıyor. Vektör veritabanının tüm amacı budur ve bu artırma bazen verilerin 10 kat artırılmasıyla sonuçlanabilir.
“Bir yapay zeka modeliyle kullanmak istediğiniz terabaytlık kaynak veriniz varsa, bu onu çalıştırmak için 10 TB’lık bir veritabanına ihtiyacınız olacağı anlamına gelir” dedi. “Verilerini yapay zeka modelleriyle kullanmak isteyen birçok kuruluş için yeni olan tüm bu süreçler var.”
Depolama kapasitesi taleplerini karşılayın
Bu tür kapasite atlamaları, AI işlemede geri alınacak anlık görüntü benzeri noktalar olarak oluşturulan büyük miktarda veriyi görebilen kontrol noktası oluşturma gibi görevler sırasında da meydana gelebilir.
Pure, müşterilerin kapasiteyi hızlı bir şekilde artırmasına olanak tanıyan Evergreen hizmet olarak modeliyle bu sorunların üstesinden gelmeyi amaçlıyor.
Şirket ayrıca depolama hacimlerinin çok hızlı artmasını önlemenin yanı sıra performansı hızlandırmanın yollarını da öneriyor.
Yakın zamanda tanıtılan Anahtar Değer Hızlandırıcısı, müşterilerin yapay zeka istemlerini yeniden kullanılabilecek şekilde saklamasına olanak tanıyor. Normalde bir Yüksek Lisans, önceki yanıtları temsil eden önbelleğe alınmış belirteçlere erişir, ancak GPU önbelleği sınırlıdır, bu nedenle yanıtların sıklıkla yeniden hesaplanması gerekir. Pure’un KV Hızlandırıcısı, tokenlerin kendi deposunda dosya veya nesne formatında tutulmasına olanak tanır.
Lherault, bunun yanıtları 20 kata kadar hızlandırabileceğini söyledi. “Kullanıcıların farklı sorular sormasını ne kadar çok sağlarsanız, önbelleğiniz o kadar hızlı tükenir” diye ekledi. “Aynı soruyu soran iki kullanıcınız varsa ve bunu iki GPU’da yapıyorsanız, her ikisinin de aynı hesaplamayı yapması gerekir. Bu pek verimli olmaz.
Lherault, “Önceden hesaplanmış anahtar değerleri aslında depolama alanımızda saklamasına izin veriyoruz, böylece bir dahaki sefere birisi daha önce sorulmuş veya aynı jetonu gerektiren bir soru sorduğunda, eğer onu yanımızda tutarsak, GPU’nun hesaplamayı yapmasına gerek kalmaz” dedi.
“İhtiyacınız olan GPU sayısını azaltmaya yardımcı oluyor, ancak aynı zamanda binlerce jeton üreten bazı karmaşık sorularda bazen yanıtın 20 kat daha hızlı geldiğini gördük.”