Bu podcast’te, Quantum’un Enterprise Ürünleri ve Çözümleri yöneticisi Tim Sherbak ile yapay zekanın (AI) veri depolama ve özellikle veri depolamasının uzun süreler boyunca ve çok büyük miktarda veri ile zorlukları hakkında etkileri hakkında konuşuyoruz.
AI’nın depolamada yer aldığı teknik gereksinimler hakkında, yüksek derecede ölçeklenebilir bir mimaride all-flash ihtiyacını ve çoklu ve tek akışlar üzerinden verimi toplama ihtiyacını içerebilecek.
Ayrıca “sonsuza dek büyüme” gerçeği ve “sonsuza dek elde tutma” ihtiyacı ve kuruluşların bu tür taleplerle başa çıkmak için depolamayı nasıl optimize edebilecekleri hakkında konuşuyoruz.
Özellikle Sherbak, verileri bilim topluluğuna öncülük eden açık bir şekilde ele almanın bir yolu olarak adil ilkelerin – bulabilirlik, erişilebilirlik, birlikte çalışabilirlik ve yeniden kullanılabilirlik – kullanımından bahseder.
Son olarak, depolama tedarikçilerinin geniş ve çeşitli veri depolarında bu büyük miktarda veriyi yönetmeye yardımcı olmak için AI’dan nasıl yararlanabileceğinden bahsediyoruz.
Yapay zeka işlemesi veri depolamasına ne gibi etkiler getiriyor?
AI işlemenin sahip olduğunuz temel veri depolama alanında büyük talepleri vardır. Sinir ağları büyük ölçüde hesaplama yoğundur. Büyük miktarda veri alırlar.
Temel zorluk canavarı beslemektir. Bu veri aç GPU’lara dayanan çok güçlü ve pahalı bilgisayar kümelerine sahibiz. [graphics processing units]. Ve bu nedenle temel zorluk, bu verileri, gerekli olan muazzam miktarda hesaplama analizinden dolayı, her zaman tam kapasitede çalışmaları için nasıl besleyebiliriz. Her şey yüksek verim ve düşük gecikme ile ilgilidir.
Öncelikle, bu nvme’ye ihtiyacımız olduğu anlamına gelir [non-volatile memory express] ve tüm flash çözümleri. İkincisi, bu çözümler ölçekli bir mimariye sahip olma eğilimindedir, böylece bu kümeler de çok büyük olabileceğinden, performansla birlikte rahatça büyüyebilir ve etkileşime girebilirler. Bu düz ad alanındaki tüm verilere kesintisiz erişime ihtiyacınız var, böylece tüm hesaplama kümeleri tüm veriler için görünürlük.
Mevcut zaman diliminde, RDMA özelliğine çok fazla odaklanma var – uzaktan doğrudan bellek erişimi – bu kümedeki tüm sunucular ve depolama düğümlerinin depolama kaynaklarına doğrudan erişimi ve görünürlüğü olacak. Bu da küme boyunca depolama erişimini optimize edebilir. Son olarak, sadece istenen toplam verim değil, aynı zamanda çok önemli olan tek akışlı performans.
Ve böylece, yalnızca birden fazla akışı toplamanıza izin vermeyen, aynı zamanda verileri GPU’lara almak için birden fazla veri yolundan yararlanarak bu bireysel akışların her birini optimize eden paralel veri yolu istemcileri olan yeni mimariler var.
Yapay zekanın veriler, veri tutma vb.
Bu günlerde yapay zeka ile iki net sorun var.
Birincisi, sonsuza kadar veri büyümesine sahip olduğumuz ve bu çözümlere mimar ettiğimiz verilerin sonsuza dek tutulması. Ve böylece bir GPU kümesindeki herhangi bir bireysel çalıştırma bağlamında hesaplananların üstünde ve ötesinde muazzam miktarda veri vardır.
Bu verilerin uzun vadede makul bir maliyetle korunması gerekir.
Piyasada, bu üç ortamda farklı seviyelere ve miktarlara sahip olarak çözümün maliyetini ve çözümün performansını optimize edebilmeniz için etkili bir şekilde flaş, disk ve bant karışımı olan çözümler vardır. Bunu yaparak, tüm bu verileri uzun vadede saklamak için kullandığınız çözümün performansını ve maliyet etkinliğini sağ boyutlandırabilirsiniz.
Sonsuza dek ve sonsuza dek büyüyen bu sorunun nasıl çözüleceğine bakan kuruluşlara önerdiğim bir diğer şey, adil veri yönetimi kavramına bakmaktır. Bu kavram altı veya sekiz yıldır var. Tüm araştırmalarını nasıl küratörlüğüne bakan kuruluşlardaki evin araştırma tarafından geliyor, ancak aynı zamanda AI veri kümelerine baktıklarında insanlara yardım etme gerçek etkisi ve yeteneği var.
Fuar, bulabilir, değerlendirilebilir, birlikte çalışabilir ve yeniden kullanılabilir bir kısaltmadır. Bu gerçekten bir dizi ilke [that allow] Sen [to] Veri yönetimi altyapısını geliştirirken, bu prensiplere göre ölçtüğünüzden emin olmak için veri yönetimi ortamınızı ölçün [and] Tüm bu verileri küratörlüğünde yapabileceğiniz en iyi işi yapmak. Kütüphane biliminden biraz almak ve dijital çağa uygulamak gibi.
Yapay zeka için veri depolama alanına nasıl yardımcı olabilir?
Bu gerçekten ilginç bir soru.
Depolama satıcılarının müşterilerinden veri topladıkları için, müşterileri daha etkili bir şekilde desteklemek için gelişmiş algoritmaları kullanabileceğimiz, operasyonları ve altyapının dünya çapında desteklenebilirliğini optimize edebilecekleri bazı temel senaryolar olduğunu düşünüyorum.
Ancak, muhtemelen AI ve veri depolamasının en güçlü uygulaması, bu kendini tanıyan depolama kavramı veya muhtemelen daha uygun bir şekilde kendinden haberdar veri yönetimidir. Ve zengin meta verileri kataloglayabildiğimiz fikri, sakladığımız verilerle ilgili veriler ve bu kataloglama ve desen eşlemeyi yapmak için AI kullanabiliriz.
Bu daha büyük ve daha büyük veri kümelerini büyüttükçe, AI veri kümelerini çeşitli şekillerde otomatik olarak sınıflandırabilir ve kendi kendini belgeleyebilir. Bu, kuruluşların emrindeki veri kümelerinden daha hızlı yararlanabilmesinden yararlanacaktır.
Spor gibi bir örnek olarak ve AI’nın sadece oyuncunun filmini, makalelerini ve AI’nın erişebileceği diğer bilgileri inceleyerek bir takımı veya bir oyuncunun kariyerini nasıl kolayca belgeleyebileceğini düşünün. Ve sonra büyük bir oyuncu emekli olduğunda veya geçtiğinde, bugün AI olmadan, bir lig veya bir takımın gece haberleri veya yaptıkları belgesel için tüm harika görüntüleri ve oyuncu geçmişini toplamak için çılgın bir mücadele olabilir, ancak AI ile bu verilere daha hızlı erişim kazanma fırsatımız var.