Ajan yapay zeka (AI) ile, her kuruluşun çalışan başına 2.000 ajan kullanabileceği tarihteki en büyük teknoloji yenileme etkinliğiyle karşı karşıya kalabiliriz.
Ve bu ihtiyacı karşılamak için, tüm BT altyapısı – ve özellikle depolama – etkilenecektir.
Bunlar, bu podcast’te BT departmanları için Ajanik AI altyapısının zorlukları, ajan AI’nın depolanmasındaki zorluklar ve müşterilerin veri merkezlerinde ve bulutlarında bu zorlukları nasıl karşılamaya başlayabilecekleri hakkında konuşan Vast Veri’nin kurucu ortağı Jeff Denworth’un görüşleri.
Bu, aşırı satın almadığı sırada altyapıyı açıkça belirlemeye ve sunmaya çok dikkat etmeyi ve aynı zamanda depolama ve uygulama mimarileri ve veritabanı ekipleri ile el ele hesaplamanın sağlanmasını içerir.
BT altyapısı için ajan yapay zeka ne gibi zorluklar doğuruyor?
Bu çok geniş bir soru. Ancak, başlamak için, bunun bazı açılardan tamamen yeni bir iş mantığı ve yeni bir bilgi işlem biçimi olduğunu belirtmek önemli olduğunu düşünüyorum.
Ve böylece, ilk soru, eğer ajan sistemleri, akıl yürütme modellerinden yararlanarak görevleri yerine getiren ajanlar ve görevlerini yerine getirmelerine yardımcı olmak için kendilerine tahsis edilen farklı araçlarla birleştiğinde, bu modellerin çok yüksek performanslı makinelerde çalışması gerekiyor.
Bugünün AI altyapısı genellikle en iyi GPU’larda çalışıyor [graphics processing units] ve diğer AI hızlandırıcıları. Ve böylece, ilk soru, bu yeni bilgi işlem biçimi için hesaplama altyapısını nasıl hazırlıyorsunuz?
Ve burada, müşteriler AI fabrikaları ve RAG dağıtmaktan bahsediyor [retrieval augmented generation]ve AI ajan dağıtım, insanların bu AI fabrikalarını dağıtmaya başlarken düşündükleri ilk kullanım durumu olma eğilimindedir.
Bunlar, çok, çok hızlı AI işlemcileri ve GPU’ları birbirine bağlayan hızlı ağlar gerektiren ve daha sonra bu temsilcileri gidip beslemek isteyebileceğiniz farklı veri havuzlarına ve depolama kaynaklarına bağlayan hızlı ağlar gerektiren sıkı birleştirilmiş sistemlerdir.
Ajan altyapısı ile ilgili ilginç olan şey, ajanların nihayetinde bir dizi farklı veri kümesinde ve hatta farklı alanlarda çalışabilmeleridir. İki tür temsilciniz var – işçiler ve denetçi veya denetleyici temsilciler olan diğer ajanlar.
Bu nedenle, belki de tüm müşteri konuşmalarını ve tahminimi bilgilendirebilecek farklı veritabanlarını veya veri kümelerini incelerken ürünüm için bir satış tahmini geliştirmek gibi basit bir şey yapmak istiyorum.
Bu beni, veri merkezimde bile olmayabilecek bir dizi farklı bağımsız veri kümesini üzerinde çalışan ve işleyen ajanlara sahip olmamı sağlayacaktır. Harika bir örnek, Salesforce’da bir şey verileri işlemek ve işlemek istiyorsanız, denetim acentesi, verileri işlemek istediği iş sisteminin bir kısmını çözmek ve çözmek için Salesforce.com içinde dağıtılan bir aracı kullanabilir.
Öyleyse, ilk soru, bu boru hattını nasıl tanımlıyorsunuz? İşlemek isteyebileceğiniz çeşitli veri kaynaklarının tümünü nasıl kapsamıyorsunuz? Kararlı durum için yeterli hesaplama kaynağına sahip olmanız için nominal bir operasyonel iş yükü olduğunu düşündüğünüz şey için nasıl boyutlandırıyorsunuz?
İnsanlar aracı iş yüklerini dağıtmaya başlamak istediklerini düşündüklerinde devreye giren çok farklı karar verme yönleri var
Jeff Denworth, geniş veriler
Ve daha sonra, hesaplama tartışması sizi tamamen farklı bir balık su ısıtıcısı olan veri merkezli ve güç altyapısı hazırlık yolundan aşağı indirir, çünkü bu yeni sistemlerin bazıları – örneğin, NVIDIA’dan GB200 ve L72 sistemleri – aralarında çok hızlı ağlara sahip GPU’ların çok sıkı birleştirilmiş raflarıdır. Bunlar, çoğu müşterinin sahip olmadığı DataCentre rafı başına 120kW gibi bir şey gerektirir.
Ve sonra GPU gereksinimlerimin düşünceleri üzerinde çalışmaya başlıyorsunuz ve bunları nereye dağıtabilirim? Bir colo’da mı? Sahip olduğum bir veri merkezinde mi? Bu potansiyel olarak bazı bulut veya ne-cloud ortamında barındırılıyor mu? Neo bulutlar, AI döneminde doğan bu yeni AI bulutlarıdır. İnsanlar aracı iş yüklerini dağıtmaya başlamak istediklerini düşündüklerinde devreye giren çok farklı karar verme yönleri var.
Özellikle Ajan AI’da depolama altyapısı için temel zorluklar nelerdir?
İlk soruda olduğu gibi, gerçekten çok boyutlu.
Bence boyutlandırılacak ilk şey, Ajan AI’da depolama nedir? Ve bu, insanlar AI modellerini eğitmeye başladığından beri kökten değişen bir şey. Çoğu insan genellikle iyi ve hızlı bir dosya sisteminiz varsa, bunun yeterince iyi olduğu varsayımı altında çalıştı. Ve böylece, buradaki fark, insanlar AI anlamında antrenman yaparken ve hatta ince ayar yaparken, bunların yapay zeka makinelerine beslenen çok iyi küratörlü veri kümeleridir ve birkaç saat veya birkaç gün beklersiniz ve yeni bir model açar.
Ve bu, altta yatan depolama sistemleri ile sahip olduğunuz etkileşim seviyesi, küme başarısız olursa, bir işte bir zamandan kurtulabileceğiniz ve baştan başlayabileceğinizden emin olmak için aralıklı kontrol noktalarını yakalaması gereken bu depolama sistemi dışında.
Temsilciler hakkında düşünürseniz, bir kullanıcı bir sisteme girer ve bir istemi yapar ve bu istemi, ajanı neredeyse öngörülemeyen bir tür bilgisayar seviyesi yapmak için gönderir, burada AI modelinin gideceği ve farklı yardımcı veri kümeleriyle çalışmaya çalışır.
Ve müşterilerin ihtiyaç duyduğu sadece dosya sistemleri ve nesne depolama gibi geleneksel depolama değil. Ayrıca veritabanlarına da ihtiyaçları var. Databricks’in bazı duyurularını gördüyseniz, AI sistemlerinin şimdi insanlardan daha fazla veritabanı oluşturduğundan bahsediyorlar. Ve AI ajanları büyük ölçekli veri ambarlarında akıl yürütmeye çalıştıkça veri ambarları özellikle önemlidir.
Bu nedenle, analiz gerektiren her şey bir veri ambarı gerektirir. Yapılandırılmamış verilerin anlaşılmasını gerektiren herhangi bir şey, yalnızca bir dosya sistemi veya bir nesne depolama sistemi gerektirmez, aynı zamanda AI aracılarının bu dosya sistemlerinde ne olduğunu anlamalarına yardımcı olmak için bir vektör veritabanı gerektirir.
Güreş edilmesi gereken ilk şey, her türlü farklı veri kaynağı olduğu fikrinin bir uzlaşmasıdır ve hepsinin bu veri kaynaklarını vurmak üzere olan AI hesaplamasına modernize edilmesi veya hazır olması gerekir.
Piyasada neyin değiştiğine ve neyin değişmediğine bakmayı seviyorum. Ve akıl yürütme ajanlarını kullanan yeni uygulamalar şeklinde dağıtılan her türlü yeni uygulamanın olduğu ve iş mantıklarının bir parçası olarak akıl yürütme modelleri kullandıkları doğrudur. Ancak, bu yeni AI bilgi işlem türünü de desteklemek için yukarı çıkmış olan birçok eski uygulama da var.
Ve böylece, genel sonucumuz, gelecekteki her bir iş uygulamasının, içine gömülü bir yapay zeka bileşenine sahip olacağıdır. Ve henüz planlamadığımız veya henüz var olmadığımız AI merkezli olacak bir sürü yeni uygulama olacak.
Ortak iş parçacığı, yeni bir işlemci türünde uygulama düzeyinde, tarihsel olarak bir GPU veya AI işlemci olan işletme içinde popüler olmayan yeni bir bilgi işlem stili olmasıdır. Ama bence insanların fark etmediği şey, işleyecekleri veri kümelerinin çok fazla tarihi veri olması.
Dolayısıyla, bir veri merkezi modernleştirme fırsatı, uygulama düzeyinde ve işlemci düzeyinde veya hesaplama düzeyinde Greenfield’dir. [there is] Brownfield, bugün bu AI ajanlarının ve akıl yürütme modellerinin işlemek isteyeceği değeri ve bilgileri taşıyan eski veri altyapısını modernize etme fırsatı.
Tarihteki dünyanın en büyük teknoloji yenileme etkinliğinin ne olabileceğine başlıyor olabiliriz
Jeff Denworth, geniş veriler
O zaman soru, neden modernize edeyim ve bu benim için neden önemli? Ölçek denkleme geri döner.
Bence aracı iş akışları ve bunun işletmeyi nasıl etkileyeceği konusunda nerede olduğumuzu kontrol etmek önemlidir. Rutin olan hemen hemen her şeyin ya da iş yapmak için sürece bağlı bir yaklaşımın insanca mümkün olduğunca otomatikleştirileceğini söylemek doğrudur.
Artık işletme boyunca birkaç ajan düşünmeyen birçok kuruluşun örnekleri var, ancak yüz binlerce ve bazı durumlarda yüz milyonlarca ajan.
Örneğin Nvidia, önümüzdeki birkaç yıl içinde 100 milyon ajan konuşlandıracaklarına dair çok açık bir açıklama yaptı. Ve bu, kuruluşlarının 50.000 çalışan olacağı bir zamanda olacaktır. Şimdi, bu iki ifadeyi bir araya getirirsem, sahip olduğunuz şey, planlamayı düşünebileceğiniz yaklaşık 2.000 ila bir AI ajan-çalışan oranıdır.
Bu doğruysa, 10.000 çalışandan oluşan bir şirket, sadece bu ajans seviyesini işlemek için büyük ölçekli süper bilgisayar altyapısı gerektirecektir. Bu yüzden, itici güçlerin altyapıyı modernize etmek için ne olduğunu düşünüyorum. Bu AI ajan ölçeğinin sadece yarısı veya bir kısmı standart bir işletmeye ulaşmaya başlarsa, verilerini tutan her eski sistemi, bu makine seviyesinden gelen hesaplama yoğunluğunu destekleyemeyecektir.
Ve bu, tarihteki dünyanın en büyük teknoloji yenileme etkinliğinin ne olabileceğini düşündüğümüzü düşündüğümüz şey. Muhtemelen AI piyasaya çıkana kadar en son olanı, depolama ve veritabanı düzeyinde yeni talepler yaratan sanallaştırma oldu. Aynı şey AI için de geçerli gibi görünüyor, çünkü farklı müşteriler, büyük ölçekli aracı dağıtım için veri ve depolama altyapısını yeniden düşünmeye çalıştığımız için.
Müşteriler altyapılarının Ajan AI için işe bağlı olmasını nasıl sağlayabilir?
Müşteri iş yükünü kesinlikle bir miktar odak ve anlama gerektirir.
Ancak pazarda olduğunu gördüğüm şeylerden biri, altyapı uygulayıcılarının yeni iş mantığı veya AI araştırmasından gelen ihtiyaçları mutlaka anlayamayacağı aşırı rotasyon.
Ve böylece, bilinmeyen için fazla telafi etme eğilimindedirler. Ve bu da oldukça tehlikelidir, çünkü bu, fark ettiklerinde farklı AI girişimlerine girmeye başlayan kuruluşlar için ağızda kötü bir tat yaratır, tamam, burada aşırı eğim, burada yanlış şeyler aldık.
Söyleyeceğim ilk şey, piyasada kesinlikle uyulması gereken en iyi uygulamalar olması. Örneğin NVIDIA, müşterilerin farklı GPU tanımlarına göre neye ihtiyaç duydukları ve boyutlandırılmasına yardımcı olmak için gerçekten müthiş bir iş çıkardı, böylece genel amaçlı ve optimize edilmiş, ancak mutlaka aşırı takas etmeyen altyapı oluşturabilirler.
Söyleyebileceğim ikinci şey, hibrid bulut stratejilerinin sadece sadece hizmet olarak altyapı için değil, kesinlikle uzlaştırılması gerektiğidir-dataCentre’mde bir şeyler dağıtıyor muyum? Farklı AI bulutlarında veya genel bulutlarda bazı şeyler mi kullanıyorum? – ama aynı zamanda farklı SaaS [software-as-a-service] Hizmetler.
Bunun nedeni, orada çok fazla aracı çalışması olacak. Artık örneğin, içinde kendi AI hizmetleri olan Slack’iniz var. Hemen hemen her büyük SaaS teklifinin ayrıca bir miktar ajan içeren bir AI alt bileşeni vardır. Yapılacak en iyi şey, depolama müşterilerimizin çoğunun mutlaka yakın bir bağlantısı olmadığı uygulama mimarları ekibiyle oturmaktır.
İkinci şey, veritabanı ekipleriyle oturmaktır. Neden? Çünkü kurumsal veri ambalajları bu ajan hesaplama dünyasında yeniden düşünülmeli ve yeniden tasarlanmalıdır, ancak aynı zamanda vektör veritabanları şeklinde yeni veritabanları gereklidir. Bunların, altyapı ve hesaplamada ve depolama düzeyinde farklı gereksinimleri vardır.
Son olarak, DataCentre ve farklı bulutlarda ne olacağı konusunda biraz uyumlaştırılması gerekiyor. Birlikte çalıştığınız farklı satıcılarla konuşmanız gerekir. Bu ve insanlara bu konuda yardım etme uygulaması.
Kabaca yaklaşık 1,2 milyon GPU gibi bir şeyimiz var ve dünyaya güç verdiğimiz bir şeyimiz var ve farklı AI projelerinin yapışıp başarılı olduğunu kanıtlarsa ölçeklendirmeye nasıl devam edeceğini anlayarak sadece boyutlandırma değil, aynı zamanda geleceğe dayanıklı veri sistemleri için her türlü ilginç yaklaşım var.