BT Architects, Yapay Zeka (AI) için depolama sistemlerinin tasarımı ile görevlendirildi (AI) kapasite, performansı ve maliyeti dengelemek gerekir.
AI sistemleri, özellikle büyük dil modellerine (LLM’ler) dayanan sistemler çok miktarda veri tüketir. Aslında, LLM’ler veya üretken AI (Genai) modelleri genellikle daha fazla veri daha iyi çalışır. Özellikle AI’nın eğitim aşaması çok açıktır.
Bununla birlikte, AI’nın çıkarım aşaması, tepkisiz hisseden veya hiç çalışamayan AI sistemlerinden kaçınmak için yüksek performansa ihtiyaç duyar. Verim ve düşük gecikmeye ihtiyaç duyarlar.
Yani, kilit bir soru, ne ölçüde şirket içi ve bulut depolama karışımını kullanabiliriz? Şirket içi depolama daha yüksek performans ve daha fazla güvenlik getirir. Bulut depolama, bulut tabanlı AI modelleri ve bulut veri kaynakları ile ölçeklendirme, düşük maliyetler ve potansiyel olarak daha iyi entegrasyon sunar.
Bu makalede, her birinin artıları ve eksileri ve AI için depolama için bunları en iyi nasıl optimize edeceğine bakıyoruz.
AI Depolama: Şirket içi ve bulut?
İşletmeler genellikle en iyi hız, performans ve güvenlik için şirket içi depolama alanı arar-ve AI iş yükleri bir istisna değildir. Yerel depolama, AI modellerinin ihtiyaçlarına ince ayar yapmak daha kolay olabilir ve muhtemelen ağ darboğazlarından daha az acı çekecektir.
Ardından AI modellerini kaynak verilere yakın tutmanın avantajları vardır. Kurumsal uygulamalar için, bu genellikle blok depolama alanında çalışan ilişkisel bir veritabanıdır.
Sonuç olarak, sistem tasarımcıları AI’nın bir kayıt sisteminin performansı üzerindeki etkisini dikkate almalıdır. İşletme, bir AI sistemine verileri de besledikleri için ERP veya CRM gibi önemli paketlerin yavaşlamasını istemeyecektir. Temel veri kayıtlarını buluta taşımak yerine yerinde tutmak için güçlü güvenlik, gizlilik ve uyumluluk nedenleri de vardır.
Yine de, bulut depolama alanı da AI projeleri için avantajlar sunar. Bulut depolamasının ölçeklendirilmesi kolaydır ve müşteriler yalnızca kullandıkları şey için ödeme yaparlar. Bazı AI kullanım durumları için, kaynak verileri zaten bulutta, bir veri gölü veya bulut tabanlı SaaS uygulamasında olacaktır.
Bulut depolama büyük ölçüde büyük dil modelleri tarafından tüketilen bilgilerin büyük kısmını oluşturan yapılandırılmamış verilere uygun olan nesne depolama alanına dayanmaktadır.
Aynı zamanda, şirket içi nesne depolama alanını çalıştırabilen depolama sistemlerinin büyümesi, işletmelerin tek bir depolama katmanına, hatta tek bir küresel ad alanına-yapay zeka ve bulut altyapısına hizmet vermesini kolaylaştırır. Bu, özellikle yerel ve bulut altyapısı arasında iş yüklerini taşımayı veya “hibrid” sistemleri işletmeyi bekleyen firmalar için geçerlidir.
AI depolama ve bulut seçenekleri
Bulut depolama genellikle AI kavram kanıtı (POCS) çalıştırmak isteyen işletmeler için ilk tercihtir. Ön sermaye yatırımı ihtiyacını ortadan kaldırır ve projenin sonunda dönebilir.
Diğer durumlarda, firmalar AI sistemlerini veri merkezinden buluta “patlatmak” için tasarladılar. Bu, talep edilen zirveleri kapsayacak şekilde hesaplama ve depolama için genel bulut kaynaklarından yararlanır. Patlama, mevsimsel bir iş döngüsünde çalışanlar gibi nispeten kısa en yüksek iş yüklerine sahip AI projeleri için en etkilidir.
Ancak, büyük dil modellerine dayanan üretken yapay zekanın gelişi, sadece ilgili veri hacimleri nedeniyle dengeyi bulut depolamaya yöneltti.
Aynı zamanda, bulut sağlayıcıları artık AI iş yüklerine odaklanan daha geniş bir aralıklı özel veri depolama seçenekleri sunuyor. Bu, bir AI iş yükünün farklı aşamalarına göre uyarlanmış depolama hizmetini içerir: hazırlayın, eğitin, servis yapın ve arşiv.
Google’ın mühendislerinin söylediği gibi: “ML’deki her aşama [machine learning] Yaşam döngüsünün farklı depolama gereksinimleri vardır. Örneğin, eğitim veri kümesini yüklerken, eğitim için depolama kapasitesine öncelik verebilirsiniz ve büyük veri kümeleri için yüksek verim. Benzer şekilde, eğitim, ayarlama, servis ve arşivleme aşamalarının farklı gereksinimleri vardır ”
Bu, Google Cloud platformu için yazılmış olsa da, aynı prensipler Microsoft Azure ve Amazon Web Services için geçerlidir. Her üç hiperscaler ve IBM ve Oracle gibi satıcılar, AI’nın toplu depolama gereksinimleri için uygun bulut tabanlı depolama sunar. Çoğunlukla, AI tarafından kaynak materyal ve eğitim verileri de dahil olmak üzere kullanılan yapılandırılmamış veriler muhtemelen nesne depolamasında tutulacaktır.
Bu AWS S3, Azure Blob depolama veya Google Cloud’un bulut depolama alanı olabilir. Buna ek olarak, NetApp’ın ONTAP gibi üçüncü taraf yazılım platformları da hiperscalers’dan edinilebilir ve bulut ve şirket içi işlemler arasındaki veri taşınabilirliğini artırabilir.
Yapay zeka operasyonlarının üretimi veya çıkarım aşaması için, seçimler genellikle daha karmaşıktır. BT Architects, AI iş akışının kritik bölümleri için farklı performans katmanları ile NVME ve SSD depolamasını belirleyebilir. İlk veri yutulması ve hazırlığı gibi görevler için veya AI sistem çıkışlarını arşivlemek için eski “eğirme diski” depolama alanı devam etmektedir.
Bu tür bir depolama da uygulama nötrdür: BT mimarları, performans parametrelerini ve yapay zeka için bütçelerini diğer iş yükleri için olabildiğince belirleyebilir. Ancak yapay zeka için sıfırdan yeni nesil bulut depolama tasarlandı.
AI için Gelişmiş Bulut Depolama
AI’nın özel talepleri, depolama satıcılarını, bazıları şirket içi sistemlerde değil de bulutta bulunan AI iş akışlarında darboğazlardan kaçınmak için özel altyapı tasarlamaya teşvik etti. Bunlar arasında anahtar iki yaklaşımdır: paralellik ve doğrudan GPU bellek erişimi.
Paralellik, depolama sistemlerinin depolama tedarikçisi Cloudian’ın “eşzamanlı veriler AI ve ML iş yüklerinin karakteristiği talep ettiği” olarak tanımladığı şeyleri işlemesine izin verir. Bu, model eğitimi ve çıkarımını daha hızlı hale getirir. Bu şekilde, AI depolama sistemlerinin birden fazla veri akışını paralel olarak işlemek için etkinleştirilir.
Burada bir örnek, geçen yıl yapay zeka uygulamaları için yoğun giriş/çıkış amaçlı yönetilen paralel bir dosya depolama hizmeti sağlamak için başlatılan Google’ın paralelstore.
Bu arada belleğe GPU erişimi, depolama önbelleği ve GPU’lar arasındaki darboğazları kaldırmak için yola çıkar – GPU’lar pahalıdır ve az olabilir. Satıcı Insurgo Media’nın ticari sorumlusu John Woolley’e göre, depolama “GPU açmasını” önlemek için en az 10 gbps sürekli verim sunmalıdır.
NVIDIA tarafından geliştirilen GPudirect gibi protokoller, GPU’ların NVME sürücü belleğine doğrudan erişmesine izin verir, RDMA’nın CPU veya işletim sistemini içermeden sistemler arasında doğrudan erişime izin vermesine benzer şekilde. Ayrıca DGS veya Direct GPU Desteği (DGS) adıyla da gider.
GPU ve paylaşılan depolama arasındaki yerel önbellek katmanları, her bir GPU’ya 60 gbps veya daha fazlasında “bant genişliği doygunluğu” sağlamak için NVME SSD’lerinde blok depolama kullanabilir. Sonuç olarak, bulut tedarikçileri DG’ler için optimize edilmiş ve SLC NAND’a dayanması muhtemel yeni nesil SSD planlıyor.
NAND üreticisi Phison US’daki CTO Sebastien Jean, “Çıkarım iş yükleri, geleneksel kurumsal dökme depolama ve AI-optimize edilmiş DGS depolama alanının bir kombinasyonunu gerektiriyor” diyor. “Yeni GPU merkezli iş yükü, küçük G/Ç erişimi ve çok düşük gecikme gerektiriyor.”
Sonuç olarak, pazarın NVIDIA DGX tabanpod ve SuperPod sertifikası ve AI entegrasyonu da dahil olmak üzere daha fazla AI-optimize edilmiş depolama sistemleri görmesi muhtemeldir.
Seçenekler arasında Nutanix Enterprise AI, Pure’s Evergreen One, Dell Powerscale, Vast’ın Geniş Veri Platformu, Bulut Hibrid NAS Sağlayıcısı Weka ve HPE, Hitachi Vantara, IBM ve NetApp’ın teklifleri yer alıyor.