Kuruluşların verileri depolama, yönetme ve analiz etme biçimleri, kurumsal BT sistemlerine sürekli veri saldırısı olması nedeniyle her zaman zorlu bir konu olacaktır. BT ekipleri her zaman yakalamaya çalışıyormuş gibi.
Veritas’a göre, ortalama bir şirket yaklaşık 10 PB (petabayt) veri depolar – yaklaşık 23 milyar dosyaya eşittir – bunların %52’si sınıflandırılmamış (veya karanlık) veri ve %33’ü gereksiz, eski ve önemsizdir. Bu kaçınılmaz olarak depolama maliyetlerini ve siber güvenliği etkilerken (bu tamamen başka bir hikaye), bu verileri analiz etmek ve bunlardan içgörü elde etmek kolay değildir. Giderek daha fazla kuruluş giderek daha karmaşık veri ilişkileriyle çalıştığından, verilerin geleneksel olarak nasıl yönetildiğine dair farklı bir yaklaşım gerektirir.
Üretken yapay zeka (GenAI) şüphesiz giderek daha fazla dikkate alınan bir konu haline geliyor, özellikle de veri yönetimi etrafındaki kurumsal düşünce söz konusu olduğunda. Ancak şu anda iki ucu keskin bir kılıç gibi. Avantajları -genellikle manşetlere çıkan faydaları- yönetim kurulu üyelerini etkiliyor. Capgemini araştırmasına göre, yöneticilerin %96’sı GenAI’yi yönetim kurulunda sıcak bir tartışma konusu olarak gösteriyor. Ancak pratik gerçeklere gelince, hala biraz belirsizlik var.
Couchbase’in küresel BT liderlerine yönelik yedinci yıllık anketinin ortaya koyduğu gibi, işletmeler veri taleplerini yönetemeyen veri mimarileriyle mücadele ediyor. Araştırma, bu mücadelenin ortalama 4 milyon dolarlık boşa harcanan harcamaya denk geldiğini iddia ediyor. Katılımcıların yaklaşık %42’si bunun dijital gereklilikleri karşılayamayan eski teknolojiye bağımlılığa bağlı olduğunu söylerken, %36’sı gerekli verilere erişim veya bunları yönetmede sorun yaşadıklarını belirtiyor.
Açık olan şey, ilişkisel veritabanlarının modern, veri yoğun uygulamaların taleplerini karşılayacak kadar hızlı hareket edemediği ve bunun sonucunda işletmelerin zarar gördüğüdür.
Yapılandırılmış ve yapılandırılmamış veri kümelerini yönetmek farklı yaklaşımlara yol açmıştır. Örneğin, bir tür NoSQL veritabanı olan grafik veritabanları, kuruluşların veri ihtiyaçlarını karşılamak için ihtiyaç duyduğu modern veritabanları karışımı için giderek daha önemli görülmektedir. İlginç bir şekilde, Couchbase’in anket bulguları, işletmelerin %31’inin konsolide veritabanı mimarilerine sahip olduğunu ve böylece uygulamaların birden fazla veri sürümüne erişemediğini ve işletmelerin yalnızca %25’inin yapılandırılmamış verileri yüksek hızda yönetebilen yüksek performanslı bir veritabanına sahip olduğunu göstermektedir.
NoSQL veritabanları eylemde
Peki, grafik ve diğer NoSQL veritabanlarını kimler kullanıyor ve neden? Çoklu veritabanı yaklaşımı yardımcı olabilir mi yoksa bu sadece yönetilmesi daha fazla karmaşıklık anlamına mı geliyor? Analitik ve veri bilimi profesyonelleri için profesyonel bir kuruluş olan Institute of Analytics’te (IoA) veri uzmanı olan Rohan Whitehead’e göre, grafik veritabanlarını benimsemenin temel nedenleri, son derece birbirine bağlı verileri işlemedeki verimlilikleri ve düşük gecikmeyle karmaşık sorgular gerçekleştirme yetenekleridir.
“Gerçek dünya ağlarını modellemek için doğal ve sezgisel bir yol sağlıyorlar ve bu da onları veri noktaları arasındaki ilişkileri anlamanın kritik önem taşıdığı kullanım durumları için ideal hale getiriyor” diyor.
Önde gelen kullanıcılara örnek olarak, sosyal grafikler aracılığıyla ilişkileri analiz etmek isteyen Facebook gibi sosyal ağlar verilebilir. Finansal hizmet sağlayıcıları ayrıca dolandırıcılık tespiti için grafik veri tabanlarını kullanır, dolandırıcılık faaliyetlerini gösterebilecek anormallikleri ortaya çıkarmak için işlem modellerini eşler. Ve tedarik zinciri şirketleri tedarikçiler, ürünler ve rotalar arasındaki ilişkileri analiz ederek lojistiği optimize etmek için grafik veri tabanlarını kullanır.
“NoSQL veritabanları e-ticaret, IoT gibi sektörlerde yaygın olarak benimseniyor [internet of things] Whitehead, “ve gerçek zamanlı analizler” diyor. “Amazon ve eBay gibi e-ticaret devleri, ürün kataloglarını yönetmek için MongoDB gibi belge odaklı veritabanlarını kullanıyor ve karmaşık şema etkilerine gerek kalmadan hızlı ve esnek güncellemeler sağlıyor.”
Akıllı şehirler veya endüstriyel otomasyon gibi IoT uygulamalarının, sensörler tarafından üretilen yüksek veri hızını idare edebilen Redis gibi anahtar-değer depolarının “ölçeklenebilirliği ve esnekliğinden” faydalandığını ekliyor. Gerçek zamanlı analizlerde, şirketler büyük hacimli veri akışını işlemek ve analiz etmek için Cassandra gibi sütun ailesi depolarını kullanarak hızlı karar alma ve içgörüler sağlıyor.
Ölçeklenebilirlik ve esneklik
Grafik veritabanları, birbirine bağlı verileri işlemede verimli olsa da, düşük gecikmeli sorgular gerçekleştirirken, NoSQL yatay olarak ölçeklenebilir, yapılandırılmamış verileri işleyebilir ve dağıtılmış ortamlarda iyi çalışabilir. Buradaki anahtar, farklı veri modellerini yönetme ve çeşitli iş yüklerini destekleme yeteneğidir.
Neo4j’de baş bilim insanı olan Jim Webber, “Bugün birçok ekip, birçok modern veri sistemi için esnek ve performanslı bir seçenek oldukları için grafikleri kullanıyor” diyor. “Grafikler birçok alana uygundur çünkü yüksek düzeyde ilişkisel (yani grafik) veriler birçok iş alanında yaygındır. Grafikler artık ilişkisel veritabanlarıyla hemen hemen aynı şekilde genel amaçlı bir teknolojidir ve çoğu sorun grafiklerle kolayca çözülebilir.”
Örnek olarak, Neo4j’in “karmaşık bir varlık ağını geçişli olarak sorgulayarak risk profilini öğrenmek” isteyen büyük bankacılık müşterilerinden birine işaret ediyor. Webber’e göre, kuruluş projeyi ilişkisel tablolar kullanarak çalıştırmaya çalıştıktan sonra defalarca başlatmış ve bırakmıştı. Başka bir örnekte, Webber, Transport for London’ın Londra’nın yol ağlarını onarmak ve bakımını yapmak için grafikleri kullandığını ve “şehre yılda yaklaşık 600 milyon sterlin tasarruf sağladığını” söylüyor.
Neo4j’nin bir diğer müşterisi, iklim değişikliği çözümleri için grafik veritabanı teknolojisi kullanan Londra merkezli bir danışmanlık şirketi olan ExpectAI’dır. CEO ve kurucu Anand Verma’ya göre, grafik teknolojisi şirketin “algılanan yeşil aklama konusunda karamsarlığı azaltmak için gereken izlenebilirliği ve bağlamı sağlarken, geniş bir kamusal ve özel veri ekosisteminde gezinmesini” sağlamıştır.
Verma, grafik veritabanlarının esnekliğinin, işletmeye verilerindeki karmaşık ilişkileri etkili bir şekilde yakalamak için ihtiyaç duyduğu şeyi sağladığını ekliyor. “Bu da müşterilerimizin karbon ayak izlerini azaltırken karlı eylemlerde bulunmaları için ihtiyaç duydukları güçlü bilgileri ve içgörüleri sağlıyor” diyor.
Ancak şirketin isminin AI kısmı, teklife gerçekten değer katıyor. Verma, AI’nın teknolojinin yapılandırılmamış verileri düzenlemesine yardımcı olduğunu ve bunun da semantik arama ve vektör indekslemesini mümkün kıldığını öne sürüyor.
“Bu, kullanıcıların verilerini NLP aracılığıyla yorumlamalarına yardımcı oluyor [natural language processing] konuşmalı soru-cevap [questions and answers] Verma, “Arayüz” diyor. “Bu teknolojiyle nihai hedefimiz, 2030 yılına kadar dünya çapında 500 megatonluk karbon emisyonu azaltımına önemli ölçüde katkıda bulunmak.”
Değerli bir amaç ve grafik teknolojisinin veri ilişkilerini nasıl dönüştürdüğüne ve yeni, karmaşık veri iş fikirlerinin nasıl geliştiğine dair iyi bir örnek. Kuruluşlar manuel işlevleri azaltmayı, sorgu sürelerini yönlendirmeyi ve içgörüleri artırmayı hedefledikçe yapay zekanın kullanımı kaçınılmaz olarak artacaktır.
Yapay Zeka ve NoSQL
IoA’dan Whitehead, grafik veri tabanlarının “özellikle verilerdeki ilişkileri anlamayı ve analiz etmeyi gerektiren AI uygulamaları için çok uygun” olduğunu söylüyor. Teknolojinin, öneri sistemleri, dolandırıcılık tespiti ve bilgi grafikleri gibi görevler için kritik öneme sahip olan desen tanıma, topluluk tespiti ve yol bulma için gelişmiş algoritmaları destekleyebileceğini ekliyor.
Bloomberg’in veri altyapısı mühendislik grubu yöneticisi Ken LaPorte’a göre, yapay zeka halihazırda önemli bir etki yarattı, ancak NoSQL ile birlikte şirket, “PostgreSQL ile birlikte grafik veritabanı uzantısı Apache AGE’nin kullanılmasına” yönelik şirket içi ilginin büyük olduğunu gördü.
“Veri soyağacından (sistemler arasında hareket ederken verileri izleme) karmaşık dağıtım panolarına kadar her şey için kullanıldı. Apache AGE’nin analitik gücü Bloomberg’in zengin veri kümeleriyle birleşince bizim için doğal bir başarı hikayesi oldu.”
Bu nedenle yapay zeka, işletmelerin bilinçli kararlar almak için ihtiyaç duyduğu yapılandırılmış ve yapılandırılmamış bilgilerin giderek artan hacmiyle mücadele ederken paha biçilmez bir öneme sahip olduğunu kanıtlıyor.
LaPorte, “Tüm varlık sınıflarında finansal bilgilerde üstel bir artış gördüğümüzden, Bloomberg kapsamlı AI stratejimizi uygulayabilmemizi sağlamak için çeşitli teknolojilere yatırım yapmaya devam ediyor” diye ekliyor. “Grafik ve vektör veritabanları, diğer veri teknolojilerine yerleştirilmiş vektör arama bileşenlerine ek olarak, bu çabanın temel parçalarıdır. Bu, geleneksel seyrek aramadan daha fazla AI odaklı yoğun vektör (veya semantik) aramalara kadar uzanır.”
Büyük miktarda veriyi işleme yetenekleriyle NoSQL veritabanları, AI uygulamalarının ayrılmaz bir parçasıdır. Tahmini bakım ve gerçek zamanlı analiz gibi anında veri işleme ve karar alma gerektiren AI uygulamaları için gerekli olan gerçek zamanlı veri alımını ve sorgulamayı desteklerler.
Örneğin Bloomberg’de, grafik veri tabanlarının gerçek zamanlı veri analizi yetenekleri, dinamik fiyatlandırma ve anormallik tespiti gibi anında içgörüler gerektiren yapay zeka uygulamalarını destekliyor.
IoA’dan Whitehead, “NoSQL veritabanlarının esnek veri modelleri, karmaşık ve çeşitli veri türlerinin depolanmasına ve işlenmesine olanak tanır; bu da metin, görüntü ve sensör verileri gibi yapılandırılmamış verileri işlemesi gereken AI uygulamaları için avantajlıdır” diyor. Örnek olarak şunları söylüyor: “MongoDB’nin belge odaklı modeli, AI iş akışlarında yaygın olarak kullanılan JSON tabanlı verilerin depolanmasını ve alınmasını kolaylaştırır.”
Veritabanının gelecekteki yönü
Whitehead, grafik veri tabanlarının geleceğinin “umut verici göründüğünü” ve daha fazla kuruluşun birbirine bağlı verileri analiz etmenin değerini fark etmesiyle benimsenmede beklenen büyümeyi öne sürüyor. “Sağlık, telekomünikasyon ve finans gibi endüstriler analitik yetenekleri için giderek daha fazla grafik veri tabanlarına güvenecek” diyor ve gelecekteki gelişmelerin muhtemelen grafik analitiğini ve yapay zeka teknolojileriyle daha derin entegrasyonu geliştirmeye odaklanacağını ekliyor.
Bulut sağlayıcılarının veritabanı tekliflerini genişleterek daha sağlam, ölçeklenebilir ve entegre çözümler sunmasını bekleyin. Whitehead, Graph ve diğer NoSQL veritabanlarının “önemli büyüme ve inovasyona hazır” olduğunu söylüyor.
Bu düşüncede yalnız değil. Fikir birliği, yeteneklerin endüstrinin büyüyen vizyonuyla uyuşacağı ve yapay zekanın daha akıllı ve veri odaklı uygulamaları mümkün kılacağı yönünde.
Bloomberg’den LaPorte’un bazı tavsiyeleri var: “Herkesin deney yapması gerekiyor. Bir kullanım durumu düşünmeniz gerekiyor. DataStax AstraDB, OpenAI, vb. gibi ürünlere güvenerek kısa sürede üretime hazır bir çözüm oluşturabilir ve değerini hemen ölçebilirsiniz. Daha sonra, yön yeterince iyi görünüyorsa, kullanım durumunu optimize etmek için daha fazla kaynak yatırabilirsiniz.”