Toronto merkezli yapay zeka (AI) danışmanlığı Crater, yapılandırılması zor doğrudan bağlı depolamayı Pure Storage’dan bir FlashBlade dizisindeki paylaşılan kapasiteyle değiştirdikten sonra araştırmacının zamanından yaklaşık 1,5 milyon Kanada Doları (885.000 £) tasarruf etti.
Bu hamle, araştırmacılarının müşteri projelerinde yapay zeka eğitimi çalışmaları için depolama altyapısını yapılandırmaya zaman harcama ihtiyacını neredeyse ortadan kaldırdığını gösterdi.
Crater, müşterilerine yapay zeka alanında kavram kanıtlama ve araştırma çalışmaları sağlıyor. Bu, projelerin tamamlanmasının ardından müşteriye geri teslim edildiği yapay zekanın eğitim aşamasına odaklanıyor.
Müşteriler için üzerinde çalıştığı deneyler arasında yapay zekanın şu amaçlarla geliştirilmesi yer alıyor: üretim süreçlerindeki kusurları tespit etmek; SEC verilerini 10 yerine üç günde analiz edin; binlerce kamyonun teslimat rotalarını üçte iki oranında daha kısa sürede hesaplayın; Telekomünikasyon ve kamu hizmeti şirketleri için faturalandırma anormalliklerini %93’e varan doğrulukla tespit edin.
Eidoo, “Müşteriler AI/ML işlemlerini gerçekleştirebilir ancak rafta bulunmayan bir şeyi geliştirmek için şirket içinde araştırma yapamazlar” dedi. “Müşteriler bizi akademik dünyadan çıkan en son gelişmelere dayalı yeni modeller geliştirmemiz için getiriyor.”
Daha önce Crater, bulutta veya sunuculardaki şirket içi yönlendirilmiş flaş ve dönen disk üzerinde çalışıyordu.
Eidoo, yapay zekayı bulutta çalıştırmanın şirket için maliyetli olduğunu söyledi. “Projelerimiz genellikle birden fazla terabayttan oluşan veri kümelerinden oluşuyor ve bulutta eğitim pek pratik bir şey değildi” dedi. “Veri kümeleri çeşitlidir çünkü müşterilerimiz için aynı anda birden fazla proje yürütüyoruz, bu da birçok dosya türü ve boyutu anlamına gelebilir ve bu da bulut sağlayıcının hizmetleriyle nasıl etkileşimde bulunabileceğimiz konusunda kısıtlamalar getirdi.”
Şirket içinde, birden fazla sunucuya bölünmüş heterojen depolama ortamına paralel olarak birden fazla modeli beslemeye çalışırken sınırlar ortaya çıktı.
Eidoo, “Aynı anda 12 proje olabiliyordu ve araştırmacılarımızın bunlar için depolamayı yapılandırması gerekiyordu” dedi. “Veri türleri çok büyük görüntülerden veritabanlarına kadar değişebilir ve hepsi çok farklı I/O’lara sahiptir. [input/output] imzalar.
“Her sunucunun kendi depolama alanı olduğundan, doğru yere çok fazla veri karıştırılıyordu ancak yine de çoğu zaman GPU’ları doyuramıyorduk [graphics processing units]dedi. “Bütün bunlarla uğraşmak istemedik. Her deney için depolamayı yapılandırmak araştırmacılarımızın üç veya dört gününü alıyordu.”
Bu nedenle Crater, dosyadaki yapılandırılmamış verileri hedefleyen ve depolama iş yüklerini engelleyen ve TLC veya QLC (daha yüksek kapasiteli) flash sürücülerle birlikte gelen Pure Storage FlashBlade’e geçti.
Crater, Ethernet üzerinden “birkaç düzine” Nvidia GPU’yu çalıştıran Linux tabanlı yapay zeka sunucu kümelerine depolama kapasitesi sağlayan yaklaşık 127 TB FlashBlade kapasitesini çalıştırıyor. Yapay zeka iş yükleri, depolama kapasitesiyle kolayca tedarik edilen konteynerler aracılığıyla hızlandırılır.
Avantajların arasında en önemlisi, araştırmacıların artık her yapay zeka eğitim çalıştırması için depolama alanı ayarlamak için zaman harcamak zorunda kalmamasıdır. Eidoo, “Araştırmacıların altyapıyla ilgili görevler üzerinde çalışmaları her projede harcanan zamanın yaklaşık %10’unu aldı” dedi. “Bu artık neredeyse tamamen ortadan kalktı. Veri konumu hakkında iki kere düşünmüyoruz.”
Bunun, modelleri eğitme süresinin %25 ile %40 arasında azaldığı anlamına geldiğini söyledi. Eidoo, “Bu, ekibin iki veya üç hafta boyunca oturup beklemeyeceği anlamına geliyor” dedi. “Bunu 12 deney ve dört ila altı araştırmacıyla çarptığınızda oldukça büyük bir çarpan etkisi elde edersiniz. Altyapı kurulumuna zaman harcamak zorunda kalmadan 1,5 milyon CAN$’a yakın tasarruf sağlıyoruz.”