Uydular uzayda hareket ettikçe, onlardan ve sondalardan sürekli bir akışla gelen görüntüler ve veri okumaları benzersizdir ve kaybolmaz. Yakalandıktan sonra işlenir, küresel araştırma topluluğu tarafından aranabilecek bir arşiv formatına dönüştürülür, korunur ve çok sayıda uygulama tarafından kullanılabilir hale getirilir. Ve her yıl, yeni matematiksel modelleme araçları geliştirildikçe veya mevcut bilgilere yeni ölçümler eklendikçe mevcut veriler yeniden işlenir.
Avrupa Uzay Ajansı’nın (ESA) “uzay” kelimesinin veri depolama kapasitesi anlamına geldiği bir parçası olan Avrupa Uzay Astronomi Merkezi’nin (ESAC) veri açısından misyonu budur. İhtiyaç duyduğu kapasiteyi sağlamak için hizmet olarak NetApp depolamaya yöneldi.
ESA Bilim ve Operasyonlardan Sorumlu BT Direktörü Rubén Alvarez, “Burada, depolama altyapısının özellikleri başka bir yerde karşılaşacağınız hiçbir şeye benzemiyor” dedi.
Madrid’deki ESA sitesi, veri akışının uzaydan geldiği, sanallaştırılmış ve kapsayıcılı sunucuların verileri açığa çıkardığı ve araştırma merkezlerinin bundan yeni içgörüler topladığı depolama altyapısının üzerinde yer alır.
Arşivleri üretime sokmak
Şu anda, bu depolama altyapısının toplamı yaklaşık 8 PB’dir. Bununla birlikte, uydu kaynaklı ölçüm ekipmanından gelen verilerin üstel büyüme hızı nedeniyle kapasiteye sürekli olarak eklenmelidir.
Buna, 2013’ten beri Samanyolu’nun 3D görüntülerini oluşturan ve 2025 yılına kadar toplamın 3PB’sini oluşturacak olan Gaia projesi de dahildir. Sonra 2024’te karanlık madde analizine başlayacak ve 20PB’ye kadar üretecek olan Euclid var. 2030 yılına kadar
Buna karşılık, iki yıl boyunca veri toplamak için 2014 yılında bir kuyruklu yıldıza inen Rosetta sondası yalnızca 218 GB üretti. Ancak bu, verilerini ilk seferinde doğru bir şekilde saklanmadıysa ikinci bir okuma almanın imkansız olduğu kısıtlamasıyla 400 milyon km geri Dünya’ya iletmek için farklı bir zorluk teşkil ediyor.
ESA’nın benzeri olmayan depolamayı sağlayan “evren kitaplığı”nın özellikleri arasında, verilerin “sıcak veri” olarak değil, arşivlerde üretime alınması yer alıyor. Teknik olarak gereksinim, daha pahalı SSD’lerden daha kırılgan ve daha yavaş olan dönen disk sabit sürücülerinde yüksek kapasiteyi, yoğun etkinliğe (ayda 18.000 kullanıcı) dayanma yeteneği ve olağanüstü güvenilirlikle birleştirmek.
Yeni veriler, ESA tarafından 1999’dan beri üretilen ve küresel uzay araştırma topluluğunun her gün kullandığı tüm verilerin yanında yer alır. Ayrıca, Avrupa’daki en iyi uygulama, bilimsel dergilerin veri kaynaklarına bağlantılar aracılığıyla erişilebilmesini zorunlu kılar.
ESA’nın verileri çok sayıda dosya içerdiğinden, erişim çeşitliliği daha karmaşık hale getirilmiştir. Ancak Alvarez, depolamayı katmanlar halinde yönetme fikrini reddediyor.
Alvarez, “Madrid’deki kendi veri merkezimizdeki egemenlik, bir Avrupa kamu kurumunun değerlerine uyduğundan, nokta gereklilikleri dışında genel bulutu kullanmıyoruz” dedi.
“Yani, ESA bir BT işi değil. Mesleği, uzay araştırmalarına muazzam kaynaklar yatırmak olduğundan, BT direktörünün kullanabileceği kaynaklar sınırlıdır. Bu nedenle yönetim görevlerini gerçekten basitleştiren depolama ekipmanlarına ihtiyacımız var.”
NetApp işi kolaylaştırır
ESAC, 2005’ten beri veri kitaplığı için HDD’li FAS dosyalayıcıları ve uygulama depolaması için AFF flash tabanlı dizilerle NetApp dizilerini kullanıyor.
Alvarez, “İş yükü başına bir dizimiz değil, her şey için verileri tutan bir kümemiz var” dedi. “Karmaşıklığı yönetmenin ve BT ekiplerinin işini basitleştirmenin en etkili yolu bu.
“Başından beri, tek bir satıcıya yerleşmeye karar vermedik. Sadece en güvenilir ve yönetimi en kolay depolama sistemlerini satın almak istedik. NASA’daki meslektaşlarımızla konuştuk, bize NetApp kullandıklarını söylediler ve biz de onların kullandığını yaptık.
“NetApp’ın desteği kesintisiz oldu. Bize eşlik eden bir satıcının olması bu aşamada önemlidir. Depolama için kullanıma göre ödeme yapan ilk müşteriler arasında olduğumuzu düşünüyorum. NetApp’a, ihtiyacımız olan kapasiteyle her zaman çalışan bir depolama hizmeti sağlaması için para ödüyoruz.”
Alvarez, üretim üzerinde hiçbir etkisi olmayan şeffaf bakım süreçlerine işaret etti: “Bakım, yalnızca diskleri veya disk raflarını eklemek veya değiştirmek için fiziksel müdahale değildir. Verilerimizin güvenilirliğini garanti etmek için, denetleyici ürün yazılımı ve dizi işletim sistemleri için düzenli olarak güncellemeler uygulamalıyız. Uydulardan veri göndermeyi bırakmalarını veya araştırmacılardan bilgiye erişmek için beklemelerini isteyemezsiniz.”
fonksiyonel evrim
Sürekli kapasite ekleme ihtiyacına ek olarak, teknik özellikler de gelişmeye tabidir.
Alvarez, “Örneğin, verilerimizin çoğu dosya biçiminde çünkü bilimsel topluluk dosyalara çoğunlukla bu biçimde erişiyor” dedi. “Ancak nesne protokollerine olan talebi görmeye başladık ve bu yönde yavaş bir geçişe başladık.”
Veri güvenliği ile ilgili olarak, yedeklemeyi dört üçüncü taraf çözümü üstlenir, ancak NetApp anlık görüntüleri de kullanımdadır. Bunlar, dosya yazma işlemleriyle ilgilenir ve verilerde tespit edilen en ufak bir bozulmada tetiklenecek şekilde ayarlanır.
Alvarez, erişim kontrolleriyle ilgili olarak şunları söyledi: “Verilerimiz çok sayıda insan arasında paylaşım için tasarlandı, bu nedenle herhangi birinin okuyabilmesi daha iyi. Klasik bir işletme olarak depolamayla ilgili aynı kaygıları paylaşmıyoruz. Bizi diğerlerinden daha az endişelendiren siber güvenlik sorunları söz konusu olduğunda da durum aynı.”