Aralarındaki bağlantının kalitesi ne olursa olsun, dünyanın herhangi bir yerinden başka herhangi bir yere saatte 65 TB. Bu, Arcitecta’nın bulut depolama ve yerinde konumlarda çalışan paylaşımlı depolama çözümünün elde ettiği aktarım hızıdır.
Hammerspace, Nasuni, Panzura ve Ctera gibi Arcitecta’nın Mediaflux çözümü de uluslararası alanda birden fazla sitede dosya paylaşımına olanak tanıyor ve iş gücünün yerel ağa bağlı depolama (NAS) üzerindeki dosyaları ve başka yerlerdeki meslektaşları tarafından oluşturulan genel bulutu görmesine olanak tanıyor.
Arcitecta’nın operasyon direktörü Graham Beasley, Computer Weekly’nin Fransız kardeş sitesine “Diğerlerinin aksine, biz bir depolama şirketi değiliz” dedi. LeMagIT yakın zamanda gerçekleşen bir BT Basın Turu etkinliği sırasında.
“Uzmanlığımız veritabanlarında. Veritabanı sistemimizi, NetApp, IBM Spectrum Scale, Dell Isilon veya diğerlerinden diziler içeren kuruluşlara, sitelerinde dosya veya nesne formatındaki belgeleri yönetmelerine olanak sağlamak için satıyoruz. Mediaflux’taki Livewire modülü aracılığıyla verileri ihtiyaç duyulan her yerde, her zaman kullanılabilir hale getiriyoruz” diye ekledi.
Arcitecta’nın CEO’su ve kurucusu Jason Lohrey, “Elde ettiğimiz aktarım hızlarının teorik olarak imkansız olduğu sıklıkla söylenir” dedi. “Sırrımız, bunun yalnızca hız meselesi olmamasıdır. Bağlantı sorununu çözüyoruz. Ve bunu yapmak veriyi yönetme meselesidir. Doğru verileri doğru zamanda taşımanız gerekiyor.”
Hız çözümü: Bir XODB veritabanı
Lohrey, “Milyonlarca dosya formatıyla çalışıyoruz” dedi. “Bu, meta veri veritabanımızda trilyonlarca veri parçasını indekslememize olanak sağlıyor. Veritabanımızdaki bir kayıt, indekslenen dosya başına yaklaşık 1kb’yi temsil eder. Buradan, bu tüm kurumsal siteler arasında senkronize edilir ve herhangi bir dosya başka herhangi bir yerden bulunabilir.
Biz bir depolama şirketi değiliz. Uzmanlığımız veritabanlarındadır. Mediaflux’taki Livewire modülü aracılığıyla verileri ihtiyaç duyulan her yerde, her zaman kullanılabilir hale getiriyoruz
Graham Beasley, Mimar
“Çok uluslu bir şirketin şubeleri arasında paylaşılan bir, 10 veya 100 milyon dosyanız olduğunda, arama motorumuz onu birkaç düzine milisaniyede bulabilir ve size gösterebilir ki bu, rakip bir üründe saatler sürer.”
Lohrey’e göre ürünün dehası, dosyaların parçalanma biçiminde yatıyor. Dosya parçaları bir konumdan diğerine paralel kanallar aracılığıyla aktarılır ve bu işlemin kronolojik sırada olması veya önceden tahmin edilmesi gerekmez.
Lohrey, “Amaç, kullanıcının belgeyi açmak istediği anda minimum miktarda veriyi taşımaktır” dedi. “Bir dosya diziye alındığı andan itibaren, ona referans veriyoruz ve bloklarını verilerimizin kullanılacağını söylediği konumlara kopyalıyoruz.
Lohrey, “70 TB’lık bir dosyayı güncellerseniz tüm meta verileri yeniden taramamıza gerek kalmaz” dedi. “Sistemimiz onu göz açıp kapayıncaya kadar dosyanın önceki sürümünden güncelliyor.”
Lohrey, veritabanındaki her belgenin zamansal ve mekansal koordinatlarını yöneten işlevselliği vurgulamaya isteklidir. XODB olarak bilinen bu, Mediaflux’a gömülü bir ikili XML nesne veritabanıdır ve dosyalar arasındaki vektörleri yöneterek, önceki etkinliğe göre hangilerinin başka konumlara kopyalanması gerekebileceğini anlamasını sağlar.
Lohrey, “Bu sistem verimli bir şekilde çalışıyorsa, bunun nedeni yalnızca veritabanını yazmamış olmamız değil, aynı zamanda NFS, SMB ve S3 paylaşım protokollerimizi de sıfırdan yeniden yazmış olmamız ve böylece XODB’de mevcut bilgileri daha iyi ifade etmeleridir” dedi. “Bu, bir aramaya karşılık gelen sanal hiyerarşileri yönetebilmek de dahil olmak üzere birkaç avantaj sağlıyor.”
En son sürümde Livewire, başka bir siteye aktarmadan önce farklı yöntemlerle anında sıkıştırmak için ağ bağlantılarındaki mevcut bant genişliğini hesaba katar. TCP/IP iletişimi sırasında kaybolan paketleri yeniden gönderme şekli de optimize edilmiştir.
Kendi geliştireceğiniz bir arayüz
Mediaflux, dosyaların aranacağı bir konsolla birlikte sunulmaz. Arcitecta bunun yerine müşteriye en iyi şekilde uyarlanmış bir arayüz geliştirmek için bir kit sağlıyor.
Beasley, “Verilerinizi kullanma kapasitesi genellikle görselleştirilmesi ve kullanılmasıyla bağlantılıdır” dedi. “Tüm veri türlerinin nasıl yönetileceğini bilen genel bir arayüz oluşturmak mümkün değil. Bu nedenle kullanıcıların ihtiyaçlarına göre en iyi arayüzü çok hızlı bir şekilde oluşturmalarına olanak tanıyan bir çerçeve geliştirdik. Varsa müşteri isterse o arayüzü de yazabiliriz. Yakın zamanda sadece dört günde bir müze için arayüz geliştirdik.”
Yönetim arayüzü, dosya aramalarının yanı sıra veri yerleştirmeyle ilgili kuralların tanımlanmasına da olanak tanır. Bunlar, Mediaflux’un, bir kullanıcı dosyalara erişmeye çalıştığında dosyaların dünyanın diğer tarafından hızla taşındığı izlenimini verecek şekilde dosyaların yerleşimini öngörmesine yardımcı olan manuel olarak belirlenen kurallardır.
Mediaflux yol haritasında Arcitecta, artan meta veri yoğunluğunu ve alma artırılmış üretim (RAG) yeteneğini kullanarak içeriği üretken yapay zekaya (GenAI) alma yeteneğini vurguluyor. İkincisi, verilerin vektörel formatta olmasını gerektirir; bu da zaten bu yapıya sahip olduğundan XODB’ye uygundur.