Şimdilik dünyadaki yapay zeka (AI) altyapısının büyük kısmı ABD’de bulunuyor. Ancak Gcore bunu değiştirmeyi veya en azından işleri bu yöne taşımayı umuyor. Şirket, hem eğitim hem de çıkarım aşamalarında yapay zeka alanında Avrupa inovasyonunda devrim yaratmak için çok çalışıyor.
Eğitim desteği, Ekim 2023’te duyurulan Gcore Generative AI Cluster ile başlıyor. NVIDIA A100 ve H100 Tensor Core GPU’lar tarafından desteklenen yeni hizmet, üretken AI (GenAI) uygulamaları için model eğitimini hızlandırmak üzere tasarlandı.
Şirketin, 2024’ten başlayarak çok büyük ölçekte çıkarımı desteklemeye yönelik agresif planları var. En büyük büyümenin bir kısmını burada bekliyor. Bu arada yeni altyapıyı devreye alıyor.
Dünya çapında altyapı ve platform hizmetleri
Gcore halihazırda uluslararası alanda 150’den fazla varlık noktasına ve saniyede 110 terabitlik toplam ağ kapasitesine sahip.
“Dünya çapındaki müşterilerimize altyapı ve platform hizmetleri (hem bulut hem de yapay zeka) sağlıyoruz ve işlerinin ve uygulamalarının küresel ölçekte sağlanmasına yardımcı oluyoruz” diyor Seva Vayner, uç, bulut ve yapay zeka ürün direktörü Gcore’da.
“Bu, yalın donanım bilgi işlem ve depolama, sanal makineler, yük dengeleyiciler ve harici depolama dahil olmak üzere temel altyapı hizmetleriyle başlıyor. Artık giderek daha fazla müşterinin platform hizmetlerini kullandığını görüyoruz. Yönetilen sağlıyoruz Kubernet’ler otomatik ölçeklendirme ve otomatik iyileştirme ile.”
Hizmetleri hemen hemen her sektör tarafından kullanılabilse de, oyun da dahil olmak üzere belirli uygulama türleri yüksek performans ve güvenilirlik Gcore hedeflerini gerektirir.
“Şu anda yüksek talep gören bulut oyunları da dahil olmak üzere çeşitli oyunlar ve çok oyunculu sunucu akışı için barındırmayı destekliyoruz“diyor Vayner. “Müşteriler hizmetlerimizi, sahneleme ve prodüksiyondan oyunların dünya çapında dağıtımına, analiz ve tekrar oynatmaya kadar tüm geliştirme yaşam döngüsü boyunca kullanıyor. Ayrıca özellikle içerik dağıtımı ve 5G hizmetleri konusunda telekomünikasyon şirketleri ile de çalışıyoruz.”
Sağlık sektörü, özellikle teletıp platformları ve elektronik sağlık kayıtları olmak üzere Gcore için giderek artan bir öneme sahip. Gcore’un ödeme platformlarını çalıştırmak için altyapı hizmetlerini kullanan Fintech müşterileri var ve bulutta kod dönüştürme oturumları yürüten medya şirketleri de var.
Çoğu müşteri, üzerinde çalışan uygulamaları kullanıyor X86 AmimariS. Ancak giderek artan sayıda uygulama artık Kol mimarisibelirli kullanım durumları için daha yüksek performans sağlar.
Vayner, “Oyun ve diğer sektörler de dahil olmak üzere birçok müşterimiz bizden Arm bulut sunucuları seçeneği sunmamızı istiyor” diyor. “Altyapılarının Ampere’s Arm mimarisini temel alan sanal veya çıplak donanım örneklerine dayalı olmasını isteyen müşterilerimizden talepler alıyoruz.”
Yapay Zeka için Yeni Ufuklar Avrupa’da başlıyor
Avrupa’da Lüksemburg, Amsterdam ve Galler’deki Newport merkezli Gcore AI kümeleri zaten kurulmuş durumda. Ayrıca Manassas, Virginia’daki yapay zeka kümeleriyle ABD’de de bir dayanak noktası oluşturdular. Şirketin daha fazla yerde faaliyet göstermek ve daha fazla hizmet sunmak için agresif bir yol haritası var. Bu yılın sonuna doğru Gcore, en son sürümlerle desteklenen 128 sunucuyu daha genişletmeyi planlıyor Nvidia Altyapısını daha da geliştirmek için H100 GPU.
Ancak üzerinde çalışılan en büyük hamlelerden biri, 2024’ün ilk çeyreğinde uçta çıkarımı başlatmaktır. Şirket, müşterilere, düşük gecikme süresi için uçta önceden eğitilmiş modelleri dağıtma veya kullanıma hazır açık kaynak dağıtma seçeneği sunacak. Dünya çapındaki Nvidia L40 GPU’larını temel alan Whisper veya Llama gibi modeller. L40’lar özellikle çıkarım için tasarlanmıştır.
Vayner, “Çok sayıda ülkedeki uç ortamlarımızda çıkarım düğümlerimiz olacak” diyor. “2024 yılında dünya çapında 100’e kadar düğümün olmasını bekliyoruz ve bunlar akıllı yönlendirme ve CDN aracılığıyla birbirine bağlanacak. [content delivery network]. Önceden eğitilmiş modeller, istekleri verimli bir şekilde en yakın çıkarım düğümüne aktararak doğrudan son kullanıcıya bağlanacaktır.
“Müşteriler önceden eğitilmiş modellerini kolayca dağıtabilir ve bunları dünya çapında dağıtabilir. Hizmetimiz, cihaza ve istek türüne bağlı olarak isteği otomatik olarak en yakın varlık noktasına yönlendirecektir. Dünya genelinde 150’den fazla varlık noktamız var ve bu noktalar, istekleri ağ omurgamız aracılığıyla en yakın çıkarım düğümüne gönderiyor.
“Diyelim ki Osaka’daki bir son kullanıcıdan bir talep aldık. CDN düğümümüze ilk bağlantı Osaka’da olacak. Daha sonra L40’lar veya Ampere işlemcilerle Tokyo’daki çıkarım düğümüne gidecek. Çıkarım düğümümüz isteği işleyecek ve yanıtı ağ omurgamız aracılığıyla Osaka CDN düğümüne geri gönderecek ve o da bunu son kullanıcıya geri iletecektir. Bu düzenleme düşük gecikmeyi garanti eder. Son olarak çıkarım düğümlerini CDN düğümleriyle birlikte konumlandıracağız. Bu hizmet daha sonra ML ile gerçek zamanlı etkileşim sağlayabilecek [machine learning] modeli.”
Çok yüksek yoğunluklu ve yüksek yüklü modelleri eğitmek için Gcore, InfiniBand’lı GPU kümelerini kullanır. Ancak çıkarımda bulunmak gerekirse, Arm tabanlı CPU’lar GPU’lardan daha fazla talep görüyor olabilir; bu nedenle şirket, müşterilere daha fazla seçenek sunmak için Ampere işlemciler sunuyor.
Vayner, “Müşterinin x86 yongalarını veya Arm yongalarını kullanabileceği agnostik bir bulut sağlayıcısı olmak istiyoruz” diyor. “Farklı pazarlara ve farklı ihtiyaçlara yönelik işleme birimleri türleri sağlamak istiyoruz.”