2022’de IDC, yıllık bazda oluşturulan veri miktarının yıllık %21’in üzerinde bir bileşik büyüme oranıyla 2026’ya kadar 221.000 exabayta ulaşacağını tahmin etti. yardım ama bunun çok fazla veri olduğuna dikkat edin. Ayrıca IDC, her yıl oluşturulan verilerin %90’ından fazlasının yapılandırılmamış veriler olduğunu söylüyor.
Yapılandırılmamış veri, belirli, önceden tanımlanmış bir formatı veya yapısı olmayan herhangi bir veri türüdür. Tablolar, alanlar ve sütunlar halinde düzenlenen yapılandırılmış verilerin aksine, yapılandırılmamış veriler genellikle metin dosyaları, resimler, videolar, e-postalar, sunumlar, sosyal medya gönderileri ve diğer türler gibi serbest biçimli veya yarı yapılandırılmış bir biçimde depolanır. multimedya içeriği. Yapılandırılmamış veri yüzdesinin, metaverse ve makine öğrenimi gibi yeni teknolojilerle daha da artması bekleniyor.
Ancak her yıl oluşturulan tüm yapılandırılmamış verilerle ne yapılıyor? yetmez, diyor carl halüinbaş teknoloji sorumlusu veridobi. 2010 yılında kurulan Leuven merkezli Datadobi, artık yapılandırılmamış veri yönetiminde dünya lideridir. Şirket kurucular çok uzun bir süre lider depolama hizmetleri sağlayıcısı olan ve artık Dell’in sahibi olduğu EMC’de çalıştı. Databoi’nin kurucularının hepsi, şimdi adı verilen dünyanın ilk ticari nesne depolama platformunun inşasında etkili oldular. EMC Merkezia.
D’Halluin, “Yapılandırılmış verilerin tutarlılığından ve öngörülebilirliğinden yoksun olduğu için, yapılandırılmamış verilerin analiz edilmesi ve işlenmesi genellikle yapılandırılmış verilere göre daha zordur,” diye açıklıyor. “Ancak, yapılandırılmış verilerde bulunmayan değerli öngörüler ve bilgiler de içerebilir, bu da onu veri analizi, makine öğrenimi ve diğer uygulamalar için önemli kılar. Sonuç olarak, birçok kuruluş yapılandırılmamış verileri daha iyi yönetmelerine, analiz etmelerine ve kullanmalarına yardımcı olabilecek teknolojilere yatırım yapıyor.”
D’Halluin’in gördüğü gibi, yapılandırılmamış verilerle ilgili dört temel zorluk türü vardır: maliyet, risk, karbon ayak izi ve değer. Kuruluşların mevcut verilerin maliyetini anlamaları ve bu verilerin en uygun depolama konumunda veya katmanında depolanmasını sağlamaları gerekir. Veriler, işletmenin ihtiyaçlarına göre optimum şekilde buluta veya şirket içine yerleştirilmelidir.
Risk farklı biçimlerde gelir. Donanım arızası, fidye yazılımı bulaşmaları, verilerin kötü niyetli veya kazara silinmesi, işle ilgili olmayan verilerle birlikte depolanan kişisel veriler, saklama gerekliliklerinin ötesinde depolanan veriler ve sahipsiz veriler (bir kuruluş içinde aktif sahibi olmayan veriler) içerir. İhtiyaç duyulan ilk şey görünürlük kazanmaktır, böylece kuruluşlar sorunları erkenden çözebilir.
“D’Halluin, riski en aza indirmek için verileri kopyalayabilir ve/veya diğer yedekleme yöntemlerini artıran altın kopyalar oluşturabilirler” diyor. “Eskiyen verileri bir arşiv katmanına taşıyabilirler. Sahipsiz ve/veya işle ilgili olmayan veriler gibi zorluklarla başa çıkma söz konusu olduğunda, daha fazla inceleme için verileri bir karantina alanına taşıyabilir veya hatta bu veri kümelerinin getirdiği riski azaltmak için muhtemelen geçersiz verileri silebilir.”
Yapılandırılmamış verilerin depolanmasıyla ilişkili karbon ayak izini azaltmak isteyen karar vericiler, görünürlüğe ihtiyaç duyar. Depolama sistemleri ve bu sistemlerde depolanan verilerle ilişkili karbon ayak izlerini bilmeleri gerekir. Bu bilgi göz önüne alındığında, onu yüksek CO’dan yeniden yerleştirebilirler.2 emisyon ortamlarından daha düşük emisyonlu ortamlara geçiş.
D’Halluin, “Şirketlerin topladığı tüm verilerde muazzam miktarda değerli bilgi var” diyor. “Maksimum değer elde etmek için verilerin doğru zamanda doğru yerde olması önemlidir. Örneğin, verilerin koruma için uç konumlardan merkezi bir konuma taşınması – aynı zamanda analitik uygulamaları tarafından tüketilmek üzere diğer konumlara dağıtılması için – giderek daha önemli hale geliyor.”
Veriler, orijinal olarak yazıldığı depolama platformunda artık statik olarak duramaz. İşleme için olması gereken yere önceden yerleştirilmesi gerekir.
Dijital Temizlik Günü ve veri yönetiminin geleceği
Artık ihtiyaç duyulmayan verilerin de kaldırılması gerekir. 13 Mart Dijital Temizlik Günü’nde düzenlendi bireylerin ve kuruluşların dijital yaşamlarında daha verimli, üretken ve güvenli olmalarına yardımcı olmak için daha iyi dijital hijyen alışkanlıklarını teşvik etti.
Göre Dijital Temizlik Günü web sitesiher yıl internet ve destek sistemleri, 900 milyon tondan fazla CO2. Birçok uzman, internet kullanımının küresel emisyonların %3,7’sini veya dünyadaki tüm hava trafiği tarafından üretilen miktara eşdeğer olduğunu tahmin ediyor.
D’Halluin, “Dijital Temizlik Günü’nde (veya başka bir zamanda) dağınıklığı gidermek ve ileriye doğru temiz ve iyi organize edilmiş bir dijital ayak izi sürdürmek isteyen kuruluşlar, kırmaları gereken en büyük cevizlerle başlamalıdır” diyor. “Bu, gereksiz veri kopyalarının, eski verilerin, artık kuruluşta olmayan çalışanlara ait verilerin ve süresi dolmuş veri yedeklerinin ve arşivlerinin kaldırılmasını içerir.”
D’Halluin’e göre veri yönetimindeki en büyük zorluk, yapılandırılmamış verilerin yönetimidir. Kuruluşların topladıkları ve ürettikleri verileri tam potansiyeliyle kullandıklarından emin olmaları gerekir. Aynı zamanda bunu sürdürülebilir bir şekilde yönetmeleri gerekiyor.
Veri yönetiminde şimdi ve yakın gelecekte birçok başka zorluk var. Bunlar arasında veri gizliliği ve güvenliği, veri entegrasyonu ve çalışamazlık, veri yönetişimi ve veri kalitesi yer alır. Son olarak, kuruluşların büyük hacimli verileri yüksek oranda işleyebilmesi, depolayabilmesi ve analiz edebilmesi gerekir.
Her halükarda Belçika, yapılandırılmamış verilerin yönetilmesinde artan zorlukların üstesinden gelmeye yardımcı olmak için iyi bir konumdadır.