Bu podcast’te Hitachi Vantara’nın yapay zekadan sorumlu baş teknoloji sorumlusu Jason Hardy ile depolama ve yapay zekaya (AI) bakıyoruz.
Yapay zeka işlemenin depolamayla ilgili performans taleplerinden bahsediyor, ancak aynı zamanda kuruluşların yapay zekada eğitim ve çıkarım iş yükleri arasında geçiş yapmak zorunda kalması nedeniyle bunun yol açabileceği aşırı bağlam değişiminin de altını çiziyor.
Hardy ayrıca potansiyel olarak ajan yapay zekayı (kendi iş akışını tasarlayan ve kendisi için kararlar alan yapay zeka) içeren ve muhtemelen iş yükü bağlamı değiştirmede daha da büyük bir artışa yol açacak bir gelecekten bahsediyor.
Antony Adshead: Yapay zeka iş yüklerinin veri depolama konusunda ne gibi talepleri var?
Jason Hardy: Bu iki boyutlu bir problem. Açıkçası, yapay zekanın hıza, hıza, hıza, hıza ve daha fazla hıza ihtiyacı var. Özellikle yüksek lisans eğitimleri oluşturmak ve temel model eğitimi vermek hakkında konuşurken bu düzeyde bir işleme sahip olmak, [AI] son derece yüksek performans yeteneklerine ihtiyaç duyar.
Bu hâlâ böyle ve her zaman da böyle olacak, özellikle de bu tür şeylerin çoğunu hacimli olarak yapmaya başladığımızda, çıkarım yapmaya, RAG’ye ve ona tanıtılmaya başlanan diğer tüm paradigmalara yönelmeye başladığımızda. . Ancak, gözden kaçırıldığını söylemek istemem ama yeterince vurgulanmadığını düşündüğüm diğer talep, işin veri yönetimi tarafı.
Örneğin, gerçekte hangi verilere sahip olduğumu anlamadan, yapay zeka sonucuma hangi verileri getirmem ve dahil etmem gerektiğini nasıl bilebilirim? Veri gölünün bunun için var olduğu söylenebilir ve aslında veri gölü çoğu durumda büyük bir çöplüktür.
Yani evet, son derece yüksek performansa ihtiyacımız var ama aynı zamanda hangi verilere sahip olduğumuzu da bilmemiz gerekiyor. Hedeflemeye başladığım kullanım durumu için hangi verilerin geçerli olduğunu ve ardından bir uyumluluk gereksiniminden, bir düzenleme gereksiniminden veya bu temalardan buna benzer herhangi bir şeyden bile olsa, bunu nasıl uygun şekilde kullanabileceğimi bilmem gerekiyor.
Gerçekten bu iki başlı ejderha, aşırı derecede performans gösterme ihtiyacı duyuyor, ama aynı zamanda orada tam olarak hangi verilere sahip olduğumu bilmek ve ardından uygun veri yönetimi uygulamalarına ve araçlarına ve benzerlerine sahip olmak da buna bağlı.
Ve bu yükün büyük bir kısmı, özellikle de yapılandırılmamış veri tarafına baktığımızda, çok kritiktir ve nesne depolama gibi bazı teknolojilerin içine yerleştirilmiştir, burada bu meta veri işlevlerine ve bunun gibi şeylere sahiptirler ve bu size biraz daha fazlasını sağlar. bu tanımlayıcı katmanın.
Ancak konu geleneksel NAS’a gelince, bu çok daha zorlu bir iş ama aynı zamanda verilerin nereden geldiğiyle de çok daha fazla ilgili. Yani bu yine iki taraflı bir şey: “Son derece hızlı olmam gerekiyor, ancak aynı zamanda uygun veri yönetimi araçlarına da sahip olmam gerekiyor.”
Yapay zeka kullanım senaryolarına yönelik özellikler
Bu da beni bir sonraki soruma yönlendiriyor: Yapay zeka kullanım senaryoları için kurumsal veri depolama dizilerinin hangi özelliklere ihtiyacı var?
Hardy: Kesinlikle haklısın. Biri diğerine doğru gidiyor, burada da söylediğimiz gibi son derece performanslı olmamız gerekiyor ama aynı zamanda geniş ölçekte de performans göstermemiz gerekiyor.
Örneğin, model eğitimi hakkında konuşursak, model eğitimi her zaman şununla ilgiliydi: “Çok büyük miktarda bir hacme ve büyük miktarda verime ihtiyacım var, böylece bu verileri işleyebilir ve onlardan öğrenebilirim ve buradan yola çıkabilirim. Orası.”
Şimdi gördüğümüz şey şu [that] Uyumluluk tarafı ve veri görünürlüğü tarafının çok daha fazlasını gerektiren ve aynı zamanda çok performanslı olan bu AI sonuçlarına operasyonel hale gelmeye ve bir düzeyde kurumsallık getirmeye başlıyoruz.
Ancak performans tarafı da biraz değişiyor. Evet, yüksek verime ihtiyacım var ve bu modelleri sürekli geliştirebilmem veya ince ayar yapabilmem gerekiyor diyor… Ama aynı zamanda [that] Artık son kullanıcılarımın veya uygulamalarımın veya iş süreçlerimin bu çıkarım düzeyindeki iş yükünü entegre etmeye ve oluşturmaya başladığı tarif edilemez bir iş yüküm var.
Çıkarım düzeyindeki iş yükü de, özellikle bağlam değiştirmeye adım atmaya başladığımızda, biraz daha öngörülemez hale geliyor. “Hey, her zaman en son verileri ekleyerek modellerime ince ayar yapmam ve geliştirmem gerekiyor, ancak buna aynı zamanda geri alma artırmayı da dahil etmem gerekiyor ve bu nedenle artık bununla ilişkili RAG iş yüküne sahibim.”
Dolayısıyla, bu yüksek verimli, yüksek IOPS bağlam geçişini ileri geri yapabilmem ve bunu kurumsal ölçekte destekleyebilmem gerekiyor.
Ancak aynı zamanda, uygulamalar ve normal iş süreçleri aracılığıyla oluşturulan yeni veriler ekosisteme eklendikçe, bunları dahil edebilmem için hangi yeni verilerin kullanıma sunulduğunu gerçek zamanlı olarak değil, neredeyse gerçek zamanlı olarak anlamam gerekiyor.
[That’s] Yeter ki doğru veriler olsun ve doğru paketleyiciye, kontrollere ve etrafındaki her şeye sahip olsun. Yine veri türüne bağlı olarak, RAG süreçlerimi veya başka şeyleri yerleştirmeme veya iyileştirmeme izin vermek için, ancak [also] bu verilerin çoğunu buna nasıl dahil edebilirim.
Ve aynı zamanda bu bilgiyi aldığımız kaynak sistemler de var. İster SQL gibi bir OLTP ortamı olsun, isterse bir tür yapılandırılmış ortam olsun, ister yapılandırılmamış bir ortam olsun, bu kaynak sistemlerin de bu ek iş yükünü destekleyebilecek şekilde donatılması gerekir.
Bu veri farkındalığına sahip olmam gerekiyor, ancak GPU iş yükünü doğrudan destekleyen yüksek performanslı dosya sisteminden genel olarak GPU’ya sunulanların dışında da bir performansa sahip olmam gerekiyor. Yani biri aslında diğeridir ve bu bir gizem, bu büyük aydınlanma falan değil. Bunlar Vantara olarak uzun süredir uyguladığımız ve vaaz ettiğimiz yaygın veri uygulamalarıdır. [that] verinin değeri vardır.
Verilerin olduğunu anlamalısınız [using] uygun indeksleme, uygun etiketleme (yine tüm bu veri süreçleri) ve uygun veri hijyeni. Ancak şimdi bunu geniş ölçekte ve oldukça performanslı bir şekilde nasıl yapabilirsiniz?
Eğitim ve çıkarım ihtiyaçları
Depolama söz konusu olduğunda yapay zekadaki eğitim ve çıkarım ihtiyaçları nasıl farklılık gösteriyor?
Hardy: Bu harika bir soru. Ve söylediğim gibi, biz pazarın “biz” olmasına o kadar odaklandık ki, modellerin nasıl inşa edileceğine ve bu temel modellerin nasıl entegre edilip yaratılacağına o kadar odaklandım ki, bunlar gerçekten devrim yaratmaya başlayabilir. iş yapmak. Her şey yolundaydı, güzeldi; büyük miktarlarda hacim. Hitachi, büyük Hitachi bakış açısıyla içinde çalıştığımız birçok pazar için bunları kendimiz yaratıyoruz.
Ama şimdi olan şu ki, biz bu eğilimi değiştiriyoruz ve bu eğilimi 2025 ve 2026’da görmeye başlayacağız… [being] yalnızca nasıl entegre olacağımıza ve geniş ölçekte çıkarım yapacağımıza dair modeller oluşturmayla ilgili.
Söylediğim gibi geniş ölçekte çıkarımlar oldukça rastgeledir çünkü son kullanıcılar veya uygulamalar veya süreçler tarafından yönlendirilir, “Hey, bir eğitim süreci başlatacağım ve onu değerlendireceğim” gibi öngörülebilir bir şekilde değil. ve bir bakıma çok düzenli ve planlı olduğu başka bir eğitim süreci gerçekleştirin.
Bu, bir nevi işin işleyişinin kaprisi ve neredeyse “Sisteme sormak istediğim bir soru var” kaprisi… ve sonra sistem, bunu destekleyebilmek için tüm bu kaynakları ve süreçleri harekete geçiriyor. iş yükü.
Yani bu çok daha rastgele hale geliyor. Ayrıca bu sadece tek bir kullanım durumu değil. Altyapının tüm bunları aynı anda desteklemesi gereken birçok kullanım durumu göreceğiz.
Uygun modeli yüklemek, tokenizasyon yapmak, daha sonra arayüzlenen şeyden çıktı alabilmek ve ardından bunu müşteriye veya tüketiciye geri yansıtabilmek ve sonra bunun ileri geri doğasıdır. Bizim bakış açımızdan, burada göreceğiniz şey, çıkarım yapmanın büyük düzeyde rastgele iş yüküne yol açacağı ve bunun yalnızca model için değil kaynak veri tarafları üzerinde de daha etkili olacağıdır.
Yani, yine, daha önce de belirttiğim gibi, erişim artırma, ajansal yapay zeka ve bunun gibi şeyler.
Bunlar, özellikle çıkarım yoluyla yönlendirilen depolama platformuna karşı her türlü farklı tüketim düzeyini artırıyor.
Ajansal yapay zeka, ortaya çıkmaya başlayan bu yeni trend, bunu daha da üstel bir sorun haline getirecek, çünkü artık geleneksel olarak yerine, bir sistemle arayüz kuracaksam ona bir soru, bir model soruyorum. yükleniyor, tokenizasyonunu yapıyor, sonucu geri alıyorum, vb. Tüm süreç.
Şimdi olan şu ki, sistemle çalışmanın aynı düzeydeki iletişimi sadece bir modele değil, birçok farklı modele, birçok farklı sorguya veya aynı sorguların birçok farklı modele karşı yapılmasına ve en iyi sonuca ulaşmaya çalışılmasına dönüşüyor. veya söz konusu spesifik soru için en iyi cevap.
Şimdi olan şu ki, bu daha fazla iş yükünün üstel düzeyde artmasına neden oluyor. Ve sonra, bu bittiğinde, onu yavaşlatmanız ve ince ayarlarınızı yapmaya, eğitiminize veya başka herhangi bir iş yükünüze geri dönmeniz gerekir, çünkü orada öylece bekleyecek boşta bir kaynak kümesine sahip değilsiniz. . Artık her iki taraf için de çıkarım yapma ve eğitim iş yükleri için sürekli olarak kullanılacak.
Bu bağlam değiştirme, gerçekten yüksek hızlı kontrol noktası oluşturmayı destekleyebilmek için depolama platformuna büyük bir yük getirecek, böylece ayarlamamı durdurabilirim veya model eğitimimi durdurabilirim ve ardından son kullanıcıyı veya gereksinimleri karşılamak için bu kaynakları kullanmaya geçebilirim. talebi mümkün olduğu kadar hızlı işleyin, çünkü bu gerçek zamanlı bir arayüzdür.
Daha sonra çıkarım yapıldığı için bu durduruluyor ve sonra geri dönüyorum ve eğitim ve ayarlama tarafında kaldığım yerden devam ediyorum. Şimdi, bu tür taleplerin her ikisinin de depolama sistemlerine yükleneceğini gerçekten tuhaf, rastgele düzeyde iş yükü göreceksiniz.