Market araştırmacısı Dell’oro’ya göre, hiperscaler bulut sağlayıcıları 2028 yılına kadar yapay zeka (AI) için optimize edilmiş donanıma 1 milyon dolar harcamayı planlıyor.
Bu arada, işletmeler AI üzerinde büyük harcama yapıyor, 2024’te Datacentre donanımına yapılan rekor harcamaları artıran AI projeleri planları ile. Asya’da IDC, bölgenin en iyi 100 şirketinin BT bütçelerinin% 50’sini AI’ya harcamayı planladığını buldu.
Tüm bunlara rağmen, bu sadece AI’ya para atma vakası değil.
Ve birçok AI projesi başarısız.
Örneğin Gartner, AI projelerinin yaklaşık üçte birinin herhangi bir iş değeri elde edemedikten sonra düştüğünü ve hatta ajan AI için daha kasvetli tahminlere sahip olduğunu bildirdi.
Peki, kuruluşlar AI projeleri için mümkün olan en iyi başarı şansını nasıl sağlıyor ve AI’yi desteklemek için gereken depolamayı nasıl değerlendiriyorlar?
AI işleme depolamadan ne talep ediyor?
Önce AI’ya ve hesaplama ve depolamaya yerleştirdiği taleplere bakalım.
Genel olarak, AI işleme iki kategoriye girer.
Bunlar, bir model veri kümesinden tanınma üretildiğinde, değişen derecelerde insan denetimi ile eğitimdir; ve eğitimli modelin gerçek dünya veri kümeleri üzerinde çalıştığı çıkarım.
Ancak başarılı bir AI projesinin bileşenleri eğitimden önce çok iyi başlar.
Burada, veri toplama ve hazırlıktan ve doğada çok değişebilecek veri kümeleriyle konuşuyoruz. Yedeklemeler, yapılandırılmamış veriler, yapılandırılmış veriler ve bir veri ambarı haline getirilen verileri içerebilir. Veriler uzun süre tutulabilir ve uzun ve dikkate alınan bir süreçte AI eğitimi için hazırlanabilir veya beklenmedik ihtiyaçlar için hızla istenebilir.
Başka bir deyişle, yapay zeka verileri birçok form alabilir ve erişim açısından öngörülemeyen gereksinimler üretebilir.
Başka bir deyişle, AI kaynaklar açısından çok aç.
Grafik işleme birimlerinin (GPU’lar) alevlenmesi iyi bilinmektedir, ancak özetlemeye değer. Örneğin, Meta açık kaynaklı Llama 3.1 Büyük Dil Modelini (LLM) eğittiğinde, 16.000 GPU’da yaklaşık 40 milyon GPU saat sürdüğü bildiriliyor. Aşağıdaki depolama için ne anlama geldiğine geri döneceğiz.
Bunun büyük bir kısmı, AI’nın vektörleştirilmiş verileri kullanmasıdır. Basitçe söylemek gerekirse, bir modeli eğitirken, eğitilen veri kümesinin özellikleri vektörize edilmiş – yüksek boyutlu – verilere çevrilir.
Bu, verilerin – bir görüntü veri kümesinin sayısız özelliğinin – birden fazla eksen üzerinde düzenli bir veri noktasına dönüştürüldüğü için, karşılaştırılabilmeleri, birbirlerine yakınlıkları ve benzerlikleri veya başka bir şekilde belirlenmeleri anlamına gelir.
Sonuç olarak, vektör veritabanları genellikle veri kümesinde kaynak verilerine kıyasla önemli bir büyüme görüyor ve mümkün olan 10 kat daha fazla. Hepsinin bir yerde saklanması gerekiyor.
Daha sonra, arızalardan kurtarılmasına izin vermek, bir modelin önceki sürümlerine geri dönebilmek için sık sık kontrol vardır, ancak sonuçların ayarlanması ve uyum amaçlı eğitimde şeffaflık gösterebilmesi gerekir. Kontrol noktası boyutu model boyutuna ve gerekli kontrol noktalarının sayısına göre değişebilir, ancak depolama kapasitesi gereksinimlerine önemli veri hacmi eklemesi muhtemeldir.
Daha sonra, örneğin, belirli bir endüstri dikey veya akademik uzmanlığa ilişkin olarak, modeli organizasyondan gelen iç verilerle artıran geri alma artırılmış nesil (RAG) vardır. Burada yine, RAG verileri, genel mimariye entegre edilmesine izin vermek için veri kümesinin vektörleştirilmesine bağlıdır.
Yapay zeka başarı şansını en üst düzeye çıkarmak için kuruluşların, AI eğitimi için gereken verileri ve bundan kaynaklanan çıktıları depolama kapasitesine sahip olduklarından emin olmaları gerekir, ancak aynı zamanda depolama optimize edilir, böylece enerji depolama dizilerinde saklamak yerine veri işleme için korunabilir
Bütün bunlar yapay zeka modelleri üretimde kullanılmadan önce gelir.
Daha sonra, modelin sonuç çıkarmak veya içgörü sağlamak için daha önce görmediği verileri kullandığında AI’nın üretim sonu olan çıkarım gelir.
Çıkarım, özellikle işlemede çok daha az kaynaklıdır, ancak sonuçlar yine de saklanmalıdır.
Bu arada, veriler eğitim ve çıkarım için korunmalıdır, ancak AI kullanım durumlarının güç kullanım profilini de dikkate almalıyız.
Ve bu profil önemli. Bazı kaynaklar, AI işlemenin geleneksel görev odaklı yazılımlardan 30 kat daha fazla enerji alması ve veri merkezli enerji gereksinimlerinin 2030 yılına kadar iki kattan fazla olarak ayarlandığıdır.
Raf seviyesinde, raporlar raf başına kilowatt (KW) kullanımının tek rakamlardan veya gençlerden 100kW’a kadar sıçradığını gösteriyor. Bu büyük bir sıçrama ve eğitim sırasında GPU’ların güç aç doğasına bağlı.
Buradaki sonuç, depolamaya tahsis edilen her watt’ın AI kümesinde güçlendirilebilen GPU sayısını azaltmasıdır.
AI ne tür bir depolama gerektirir?
AI’da veri depolama görevi, en uygun şekilde kullanılmasını sağlamak için GPU’lara veri tedarikini korumaktır. Depolama ayrıca, hızla erişilebilen büyük miktarda veri tutma kapasitesine sahip olmalıdır. Hızlı erişim, GPU’ları beslemek için bir gerekliliktir, ancak aynı zamanda kuruluşun yeni veri kümelerini hızla sorgulayabilmesini sağlamak için.
Bu, muhtemelen hızlı erişim ve düşük gecikme için flaş depolama anlamına gelir. Kapasite, iş yükünün ölçeğine göre değişecektir, ancak yüzlerce terabayt, hatta petabayt bile mümkündür.
Yüksek yoğunluklu dört seviyeli hücre (QLC) flaşı, bazı durumlarda yedekleme verileri gibi “ikincil” olarak kabul edilebilecek veri kümeleri de dahil olmak üzere, genel amaçlı depolama için güçlü bir yarışmacı olarak ortaya çıkmıştır. QLC kullanımı, müşterilerin verileri flash depolama alanında daha düşük bir maliyetle depolayabileceği anlamına gelir. Bir eğirme diski kadar düşük değil, ancak QLC, AI iş yükleri için verilere çok daha hızlı erişme yeteneği ile birlikte gelir.
Bazı durumlarda, depolama tedarikçileri NVIDIA Compute ile çalışmak üzere sertifikalı AI altyapı paketleri sunar ve bunlar AI iş yükleri ve NVIDIA mikro hizmetlerini kullanan bez boru hatları için optimize edilmiş depolama ile birlikte gelir.
Bulut da genellikle AI iş yükleri için kullanılır, bu nedenle bir depolama tedarikçisinin bulut depolama ile entegrasyonu da değerlendirilmelidir. Verileri bulutta tutmak da bir taşınabilirlik unsuru getirir ve veriler işleme konumuna daha yakın taşınabilir.
AI projeleri, muslukta işleme kaynaklarını kullanma yeteneği nedeniyle genellikle bulutta başlar. Daha sonra, yerinde başlayan bir projenin buluta patlaması gerekebilir, bu nedenle DataCentre ve bulut depolama arasında sorunsuz bağlantılar ve ortamın homojenliği sunabilen sağlayıcılar arayın.
AI başarısının doğru altyapıya ihtiyacı var
Enterprise düzeyinde AI’da başarılı olmak için sadece doğru becerilere ve veri kaynaklarına sahip olmaktan daha fazlasını gerektirdiği sonucuna varabiliriz.
Yapay zeka veri depolama ve enerji kullanımında son derece açtır. Bu nedenle, başarı şansını en üst düzeye çıkarmak için, kuruluşların AI eğitimi için gereken verileri ve bundan kaynaklanan çıktıları depolama kapasitesine sahip olmaları gerekir, ancak aynı zamanda depolama optimize edilir, böylece enerji depolama dizilerinde saklamak yerine veri işleme için korunabilir.
Gördüğümüz gibi, genellikle en iyi başarı şansını sağlamak için gereken hızlı erişim, yoğunluk ve enerji verimliliği sunan flaş depolama-ve özellikle QLC flaşı olacaktır.