Yapay zeka (AI) ve makine öğrenimi (ML), basit sohbet robotlarından neredeyse düşünülemez karmaşıklık düzeylerine, içerik üretimine ve kontrolüne kadar uzanan uygulamalarla BT’nin temelini oluşturan otomasyonda bir adım değişikliği vaat ediyor.
Depolama, eğitim için veri sağlamak ve üretilen potansiyel olarak büyük miktarda veriyi depolamak veya yapay zeka sonuçlarının gerçek dünyadaki iş yüklerine uygulandığında çıkarım sırasında yapay zekanın önemli bir bölümünü oluşturur.
Bu makalede yapay zeka iş yüklerinin temel özelliklerine, depolama giriş/çıkış (G/Ç) profillerine, yapay zekaya uygun depolama türlerine, bulut ve nesne depolamanın yapay zeka için uygunluğuna ve depolama tedarikçisi stratejisine ve ürünlerine bakıyoruz. AI için.
Yapay zeka iş yüklerinin temel özellikleri nelerdir?
Yapay zeka ve makine öğrenimi, verilerdeki kalıpları tespit etmek, verilerle ilgili içgörü elde etmek ve çoğu zaman bu bulgulara dayalı yanıtları tetiklemek için bir algoritmanın eğitilmesine dayanır. Bunlar, “bunu alanlar bunu da aldı” türü tavsiyeler gibi satış verilerine dayalı çok basit tavsiyeler olabilir. Veya ikna edici metin, resim ve video oluşturmasına olanak tanıyan geniş ve çoklu veri kümeleri üzerinde eğitilmiş üretken yapay zekadaki (GenAI) büyük dil modellerinden (LLM’ler) gördüğümüz türden karmaşık içerik olabilirler.
Yapay zeka iş yüklerinde üç temel aşama ve dağıtım türü vardır:
- Farklı derecelerde insan denetimiyle, tanımanın yapay zeka modeli veri kümesinden algoritmaya işlendiği eğitim;
- Eğitim aşamasında belirlenen modellerin bağımsız yapay zeka konuşlandırmalarında ve/veya uygulamaya konulduğu çıkarım;
- Yapay zekanın bir uygulamaya veya uygulama gruplarına dağıtılması.
AI ve ML iş yüklerinin nerede ve nasıl eğitilip çalıştırıldığı önemli ölçüde farklılık gösterebilir. Bir yandan, bilim ve araştırma ortamlarındaki belirli veri kümeleri üzerinde yüksek performanslı bilgi işlem (HPC) işlemeye benzeyen toplu veya tek seferlik eğitim ve çıkarım çalıştırmalarına benzeyebilirler. Öte yandan yapay zeka eğitildikten sonra yukarıda açıklanan satış ve pazarlama operasyonları gibi sürekli uygulama iş yüklerine uygulanabilir.
Eğitim ve operasyonel veri kümelerindeki veri türleri, örneğin nesnelerin interneti (IoT) iş yüklerindeki sensör okumaları gibi çok sayıda küçük dosyadan, görüntü ve film dosyaları veya ayrı bilimsel veri grupları gibi çok büyük nesnelere kadar değişebilir. Besleme sonrasındaki dosya boyutu aynı zamanda kullanılan AI çerçevelerine de bağlıdır (aşağıya bakınız).
Veri kümeleri aynı zamanda satış kayıtları veya yedeklerde tutulan veriler gibi birincil veya ikincil veri depolamanın bir parçasını da oluşturabilir ve bunlar giderek daha değerli bir kurumsal bilgi kaynağı olarak görülmektedir.
Yapay zeka iş yüklerinin G/Ç özellikleri nelerdir?
Yapay zeka iş yüklerinde eğitim ve çıkarım, genellikle grafik işleme birimleri (GPU’lar) veya işlemeyi merkezi işlem birimlerinden (CPU’lar) boşaltan benzer donanımlar kullanılarak büyük ölçüde paralel işleme gerektirir.
Kaliteyi en üst düzeye çıkarmak için yapay zeka eğitimini ve çıkarımını makul bir zaman diliminde ve mümkün olduğunca çok yinelemeyle gerçekleştirmek için işleme performansının olağanüstü olması gerekir.
Altyapının ayrıca çok büyük eğitim veri kümelerini ve eğitim ve çıkarımlardan elde edilen çıktıları yönetebilmek için potansiyel olarak büyük ölçüde ölçeklenebilmesi gerekir. Aynı zamanda depolama ve işleme arasında G/Ç hızı gerektirir ve potansiyel olarak en verimli işlemeyi sağlamak için verilerin konumlar arasında taşınabilirliğini de yönetebilir.
Verilerin yapılandırılmış ve veritabanlarında olması yerine, büyük olasılıkla yapılandırılmamış ve büyük hacimlerde olması muhtemeldir.
Yapay zeka iş yüklerinin ne tür bir depolamaya ihtiyacı var?
Gördüğümüz gibi, GPU’ları kullanan devasa paralel işlemler yapay zeka altyapısının temelini oluşturuyor. Yani kısacası depolamanın görevi, bu çok maliyetli donanım öğelerinin en iyi şekilde kullanılmasını sağlamak için bu GPU’ları mümkün olduğu kadar hızlı bir şekilde sağlamaktır.
Çoğu zaman bu, G/Ç’de düşük gecikme süresi için flash depolama anlamına gelir. Gereken kapasite, iş yüklerinin ölçeğine ve yapay zeka işleme sonuçlarının muhtemel ölçeğine göre değişecektir ancak yüzlerce terabayt, hatta petabayt olması muhtemeldir.
PyTorch (çok sayıda küçük dosya) ve TensorFlow (tersi) gibi farklı AI çerçeveleri verileri farklı şekilde depoladığından, yeterli verim de bir faktördür. Yani, mesele yalnızca verilerin GPU’lara hızlı bir şekilde iletilmesi değil, aynı zamanda doğru hacimde ve doğru G/Ç yetenekleriyle de sağlanmasıdır.
Son zamanlarda depolama tedarikçileri, müşteriler artık bu verilere erişmek isteyebileceğinden, yedekleme verileri gibi şimdiye kadar “ikincil” olarak değerlendirilen veri kümeleri de dahil olmak üzere, potansiyel bir genel amaçlı depolama olarak genellikle yüksek yoğunluklu QLC flash kullanan flash tabanlı depolamayı öne çıkardılar. AI kullanarak daha yüksek hız.
Yapay zeka projeleri için depolama, eğitim ve çıkarım sırasında çok yüksek performans sağlayan depolamadan uzun vadeli saklamanın çeşitli biçimlerine kadar çeşitlilik gösterecektir çünkü bir yapay zeka projesinin başlangıcında hangi verilerin yararlı olacağı her zaman net olmayacaktır.
Bulut depolama yapay zeka iş yükleri için iyi mi?
Bulut depolama, yapay zeka iş yükü verileri için uygun bir seçenek olabilir. Verileri bulutta tutmanın avantajı, verilerin işlem yerinin yakınına “taşınabilmesi” sayesinde bir taşınabilirlik unsuru getiriyor.
Birçok yapay zeka projesi bulutta başlar çünkü GPU’ları ihtiyaç duyduğunuz süre boyunca kullanabilirsiniz. Bulut ucuz değildir, ancak donanımı şirket içinde dağıtmak için, gerekçelendirilmeden önce bir üretim projesini taahhüt etmiş olmanız gerekir.
Tüm önemli bulut sağlayıcıları, önceden eğitilmiş modellerden, uygulama programlama arayüzlerinden (API’ler) modellere, ölçeklenebilir GPU dağıtımıyla AI/ML bilgi işlemine (Nvidia ve kendilerinin) ve birden fazla petabayta ölçeklenebilir depolama altyapısına kadar uzanan AI hizmetleri sunar.
Nesne depolama yapay zeka iş yükleri için iyi mi?
Nesne depolama, yapılandırılmamış veriler için iyidir, büyük oranda ölçeklenebilir, genellikle bulutta bulunur ve neredeyse her veri türünü bir nesne olarak işleyebilir. Bu, onu AI ve ML uygulamalarında muhtemel büyük, yapılandırılmamış veri iş yükleri için çok uygun hale getirir.
Zengin meta verilerin varlığı, nesne depolamanın bir başka artısıdır. Yapay zeka eğitim modelleri için doğru verilerin bulunmasına ve düzenlenmesine yardımcı olmak için aranabilir ve okunabilir. Veriler, S3 protokolü aracılığıyla iletişim sayesinde bulut da dahil olmak üzere hemen hemen her yerde tutulabilir.
Ancak meta veriler, tüm avantajlarına rağmen depolama denetleyicilerini de zorlayabilir ve performansı etkileyebilir. Ayrıca bulut, bulut depolama için bir konumsa verilere erişildikçe ve taşındıkça bulut maliyetlerinin de hesaba katılması gerekir.
Depolama tedarikçileri yapay zeka için neler sunuyor?
Nvidia, sunucuları, GPU’ları ve ağları içeren referans mimarileri ve donanım yığınları sağlar. Bunlar, endüstri sektörleri için belirlenebilen DGX BasePOD referans mimarisi ve DGX SuperPOD anahtar teslimi altyapı yığınıdır.
Depolama tedarikçileri ayrıca verilerin çok sayıda (çok maliyetli) GPU’ya verimli bir şekilde iletilebilmesi için G/Ç darboğazına da odaklandı.
Bu çabalar, eğitim için NeMo ve çıkarım için NIM gibi mikro hizmetler aracılığıyla, GPU ve AI sunucu teknolojisindeki kilit oyuncu olan Nvidia altyapısıyla entegrasyonlardan, AI altyapısı ile depolama ürünü doğrulamaya ve AI’yı hedefleyen tüm depolama altyapısı yığınlarına kadar uzanıyor.
Tedarikçi girişimleri aynı zamanda erişim artırılmış üretim (RAG) işlem hatlarının ve bunu destekleyecek donanım mimarilerinin geliştirilmesine de odaklandı. RAG, kısmen halüsinasyonlarla mücadele etmek için yapay zeka eğitiminin bulgularını harici, güvenilir bilgilere referansla doğruluyor.
Hangi depolama tedarikçileri Nvidia DGX için doğrulanmış ürünler sunuyor?
Çok sayıda depolama tedarikçisinin aşağıdakiler de dahil olmak üzere DGX teklifleriyle doğrulanmış ürünleri vardır.
DataDirect Networks (DDN), A³I AI400X2 tamamen NVMe depolama cihazlarını SuperPOD ile sunuyor. Her cihaz 90 GBps’ye kadar aktarım hızı ve üç milyon IOPS sağlar.
Dell’in Yapay Zeka Fabrikası, masaüstü, dizüstü bilgisayar ve sunucu PowerEdge XE9680 bilgi işlem, PowerScale F710 depolama, yazılım ve hizmetleri kapsayan ve Nvidia’nın yapay zeka altyapısıyla doğrulanmış entegre bir donanım yığınıdır. Dell’in Apex hizmet olarak planı aracılığıyla edinilebilir.
IBM, Nvidia DGX ile AI için Spectrum Storage’a sahiptir. Nvidia BasePOD ve SuperPod için doğrulanmış, birleşik ancak ayrı ayrı ölçeklenebilir bir bilgi işlem, depolama ve ağ çözümüdür.
Yedekleme sağlayıcısı Cohesity, Nvidia’nın GTC 2024 etkinliğinde Nvidia NIM mikro hizmetlerini ve Nvidia AI Enterprise’ı, eğitim verileri kaynağı oluşturmak için yedekleme ve arşiv verilerinin kullanılmasına olanak tanıyan Gaia çoklu bulut veri platformuna entegre edeceğini duyurdu.
Hammerspace, Nvidia’dan GPUDirect sertifikasına sahiptir. Hammerspace, Hiper Ölçekli NAS’ını AI/ML iş yükleri ve GPU odaklı işleme için oluşturulmuş küresel bir dosya sistemi olarak pazarlıyor.
Hitachi Vantara, şirketin depolama alanıyla birlikte Nvidia DGX ve HGX GPU’ları kullanan sektöre özel yapay zeka sistemleri sağlayan Hitachi iQ’ya sahip.
HPE, Nvidia bileşenlerine sahip GenAI süper bilgi işlem ve kurumsal sistemlere, bir RAG referans mimarisine ve NIM mikro hizmetlerinde oluşturma planlarına sahiptir. Mart 2024’te HPE, Alletra MP depolama dizilerini, bir kümedeki düğümler arasında 100 Gbps bağlantıyla aynı raf alanında iki kat daha fazla sunucuya ve dört kat daha fazla kapasiteye bağlanacak şekilde yükseltti.
NetApp’in BasePOD ve SuperPOD ile ürün entegrasyonları bulunmaktadır. GTC 2024’te NetApp, Nvidia’nın bir RAG yazılım teklifi olan NeMo Retriever mikro hizmetinin OnTap müşteri hibrit bulut depolama alanıyla entegrasyonunu duyurdu.
Pure Storage, DGX ve Nvidia OVX sunucularıyla sertifikalı ve Pure’un FlashBlade//S depolamasını kullanan flash tabanlı bir AI altyapısı olan AIRI’ye sahiptir. GTC 2024’te Pure, Nvidia GPU’ları ve depolamasıyla Nvidia NeMo tabanlı mikro hizmetlerin yanı sıra belirli endüstri sektörleri için RAG’leri kullanan bir RAG hattı oluşturduğunu duyurdu.
Vast Data, QLC flash ve hızlı önbellek depolama alt sistemlerini yerel depolama G/Ç düzeyinde veritabanı benzeri yeteneklerle ve DGX sertifikasıyla birleştiren Vast Data Platformunu 2023 yılında başlattı.
Mart 2024’te hibrit bulut NAS üreticisi Weka, Nvidia’nın DGX SuperPod AI veri merkezi altyapısıyla çalışmak üzere sertifikalı bir donanım cihazının duyurusunu yaptı.