Yapay zeka (AI) iş yüklerine yönelik bir adım olarak HPE, Alletra MP depolama dizilerini iki kat daha fazla sunucuya bağlanacak ve aynı raf alanında 4 kat kapasite sağlayacak şekilde yükseltti.
İlk lansmandan bir yıl sonra, Alletra MP artık kasa başına iki yerine dört kontrol düğümüne sahip ve her biri sekiz, 16 veya 32 çekirdekli AMD Epyc CPU'ya sahip. 2U veri düğümleri artık 2U'da maksimum 1,2PB kapasite için 61,44 TB'lık 10 SSD ile 1U haline geldi. Daha önce Alletra MP veri düğümleri, 7,68 TB veya 15,36 TB'lık (düğüm başına 300 TB'a kadar) 20 SSD içeriyordu.
HPE'ye göre, düğüm sayısındaki bu artış, Alletra MP'nin artık 2 kat daha fazla sunucuya bağlanabileceği ve onlara aynı veri merkezi raf alanı için 4 kat daha fazla kapasite ve benzer bir enerji kullanımı sağlayabileceği anlamına geliyor.
HPE Alletra MP NAS uzmanı Olivier Tant, “Bu yeni nesil AI Alletra MP adını veriyoruz” dedi.
“Bunun nedeni, dağıtımı karmaşık olan ancak genellikle yapay zeka iş yükleri için kullanılan GPFS veya BtrFS tabanlı depolama çözümlerinin yerine geçmenin son derece uygun olduğunu düşünmemizdir. Ayrıca dizilerimizin HPC'de DDN'den veya medya iş yüklerinde Isilon'dan daha verimli olduğuna inanıyoruz.”
SAN blok erişim sürümü, herhangi bir denetleyici düğümünün herhangi bir veri düğümüne erişmesine izin veren 100 Gbps ROCE anahtarlarına sahip NAS dosya erişim sürümü gibi çalışır.
Tant, “Çözümümüzün rekabete göre en büyük avantajı, kümedeki tüm düğümlerin birbirleriyle konuşmasıdır” dedi. “Başka bir deyişle, rakiplerimiz örneğin 16 depolama düğümü ile sınırlıdır; bunlardan üçü, silme kodlaması için yedek veriler tarafından kullanılacaktır. Bu kapasitenin %15 ila %20'sidir. Silme kodlaması yoluyla üçü artıklık için kullanılan 140 düğümden oluşan bir kümeyi konuşlandırabiliriz. Kapasitemizin yalnızca %2'sini kaybediyoruz ve bu gerçek bir ekonomik avantaj.”
Gizli tarif: 100 Gbps ROCE, düğümler arasında geçiş yapar
HPE Alletra MP NAS uzmanı Michel Parent, “Çözümümüz aynı zamanda daha iyi performans gösteriyor; bunun nedeni çelişkili bir şekilde denetleyici düzeyinde önbellek kullanmamamızdır” dedi. “Dizideki tüm öğelerde 100 Gbps'lik NVMe/ROCE bağlantısıyla önbellek verimsiz hale geliyor.
“Önbellek hiçbir şeyi hızlandırmaz; aslında aralıksız kopyalama ve doğrulama işlemleriyle diziyi yavaşlatır” diye ekledi. Parent'e göre piyasadaki başka hiçbir depolama dizisi, bağlantı noktası başına 100 Gbps kadar yüksek hızlarda NVMe/ROCE kullanmıyor.
Ana bilgisayarlar, kendilerine en yakın denetleyici düğümüne erişmek için Ethernet veya Infiniband (Nvidia GPUDirect ile uyumlu) kullanır. Yazma sırasında bu düğüm silme kodlamasını gerçekleştirir ve gerekli verileri diğer SSD düğümlerine paylaşır. Ağ ana bilgisayarları açısından bakıldığında, tüm denetleyici düğümleri aynı dosya birimlerini açığa çıkarır ve LUN'ları engeller.
Alletra MP'nin Vast Data'nın dosya erişim sistemini kullandığı NAS modunda, Kioxia'nın hızlı flash SCM'sinden oluşan bir önbellek bulunur. Bu arabellek, dosya verilerini tekilleştirmek ve sıkıştırmak için bir çalışma alanı görevi görür.
Tant, “Veri azaltma sistemimiz, farklı kıyaslamalara göre en iyi performans gösterenlerden biridir” dedi. “Verilerdeki tüm kopyalar ortadan kaldırılıyor. Daha sonra bir algoritma birbirine en çok benzeyen blokları bulur ve bunları sıkıştırır ve bu çok verimli olur.”
Dosyaların birkaç düğüm arasında paylaşılan kısımları yalnızca silme kodlamasından kaynaklanan kısımlardır. Tercihe göre, dosyanın tamamını içeren SSD'den bir dosya yeniden okunacaktır.
Daha doğrusu, okuma sırasında denetleyici, isteği en uygun anahtar tarafından seçilen ilk SSD düğümüne iletir. Her veri düğümü, kümenin tüm içeriğinin dizinini tutar. Düğüm okunacak veriyi tutmuyorsa, denetleyicinin gereksinimlerini tutan düğüme gönderir.
SAN sürümünde mekanizma, dosya düzeyinden ziyade blok halinde çalışması dışında benzerdir.
Denetleyicilerden çok anahtarların hızına dayalı böyle bir mimariyle, Ethernet bağlantı noktasında yeterince hızlı yanıt verilmemesi durumunda bir düğümden diğerine geçiş yapmak kolaylaşır.
Çeşitli depolama türleri için tek dizi
Alletra MP'deki her 100 Gbps bağlantı, dizi ile uygulama sunucusu arasındaki ağ bağlantısı kadar veya ondan daha hızlı olduğundan, NVMe SSD'ler veri bloklarından bir dosyayı yeniden oluşturmada en hızlı olanıdır. Denetleyici ile özel SSD düğümleri arasında anahtar kullanmayan rakip dizilerinde, belirli kullanım durumları için optimizasyon yapılması olağandır.
Tant, “Alletra MP'nin rakiplerine göre ekonomik avantajına inanıyorum” dedi. “Bir yapay zeka projesinde, bir işletmenin normalde bir veri hattı oluşturması gerekir. Bu, yazma işlemlerinde oldukça performanslı bir depolama dizisinin bu iş yüklerinden çıktıyı topladığı anlamına gelir. Daha sonra modeli makine öğrenimi için eğitmek amacıyla içeriğini okuma performansına sahip bir depolama dizisine kopyalarsınız. Daha sonra ortaya çıkan modeli kullanmak için hibrit bir dizide saklıyorsunuz.”
“Alletra MP ile, makine öğrenimi ve modelin kullanımı için olduğu kadar yazma açısından da hızlı olan tek bir diziye sahip olursunuz” dedi.