OpenAI’nin ChatGPT’si, Microsoft’un Copilot’u ve Google’ın Gemini’si gibi yapay zeka (AI) hizmetleri bulutta çalışır. Ancak kurumsal dağıtımlar söz konusu olduğunda yapay zeka kesinlikle yalnızca bulutta değildir.
Teknolojideki ilerlemeler, “küçük dil” ve açık kaynak modellerinin geliştirilmesi, performans ve yapay zekayı veri kaynaklarına yakın konumlandırmanın faydaları, şirket içi mimariyi destekleyen durumlar yaratır. Daha sonra güvenlik, veri gizliliği, fikri mülkiyetin korunması ve maliyetle ilgili hususlar vardır. Her ne kadar endüstrinin dikkatinin çoğu bulut çözümleri üzerinde olsa da, her biri için şirket içi yapay zeka için güçlü bir neden var.
“Çoğu kuruluş şu anda yapay zeka iş yüklerini AWS gibi bulut platformlarının sağladığı ölçeklenebilirlik, maliyet verimliliği ve hızlı dağıtım gibi önemli avantajlardan hareketle bulutta çalıştırıyor [Amazon Web Services]Microsoft Azure ve Google Cloud teklifi” diyor PA Consulting’in yapay zeka stratejisi başkanı Derreck Van Gelderen.
“Bu bulut sağlayıcıları, şirketlerin büyük ön altyapı maliyetlerini atlamasına ve bunun yerine yapay zekanın ve artık üretken yapay zekanın yüksek bilgi işlem taleplerini karşılamak için ideal olan esnek kaynaklara erişmesine olanak tanıyan kapsamlı ekosistemler geliştirdi. [GenAI] – özellikle kaynak yoğun eğitim aşamalarında modeller” diye ekliyor.
KPMG bulut stratejisi ve teknoloji lideri John Gasparini de benzer trendler görüyor. “Elbette, birlikte çalıştığım müşterilerin çoğunluğu bu erken kullanım örneklerinden bazılarını test etmek için bulut tabanlı yapay zeka hizmetlerini kullanıyor” diyor. “Mevcut bazı büyük dil veya temel modellerden yararlanıyorlar veya bu bulut hizmetlerinin üzerine kendi modellerini oluşturuyorlar.”
Şirket içi yapay zeka yetenekleri geliştirmenin “önemli sermaye yatırımı” gerektirdiğini, ancak yapay zekadan elde edilen yatırım getirisinin (ROI) henüz garanti edilmediğini öne sürüyor.
Bulut altyapısı, kuruluşların yapay zeka sistemlerini hızlı bir şekilde oluşturmasına ve aynı zamanda başarısız olan projelerin ölçeğini küçültmesine olanak tanır. Bulut aynı zamanda en yeni nesil büyük dil modelleri (LLM’ler) dahil olmak üzere gelişmiş modellere de hazır erişim sağlar. Önde gelen GenAI modellerinin çoğu en azından şimdilik yalnızca bulutta mevcut.
Ancak bulutun da sınırlamaları var. İşletmeler, gerçekleştirdiği görevlerin kapsamı açısından veya yapay zekayı daha hassas verilerle ilişkilendirerek yapay zeka kullanımını genişlettikçe bu sınırlamalardan bazıları daha da büyük bir yük haline geliyor.
Bulutta yapay zekanın sınırlamaları
Bulut tabanlı yapay zekanın sınırlamaları, bulut bilişimin diğer kurumsal uygulamalara yönelik dezavantajlarını büyük ölçüde yansıtıyor: veri egemenliği, güvenlik, artan düzenlemeler ve maliyet.
“Genel bulutun avantajı fikirleri test edebilmenizdir. Eğer işe yaramazsa kapatabilirsiniz ve o noktada uğraşmanız gereken büyük bir silme maliyeti olmaz” diyor KPMG’den Gasparini.
Genel bulutun avantajı fikirleri test edebilmenizdir. Eğer işe yaramazsa kapatabilirsiniz ve o noktada uğraşmanız gereken büyük bir silme maliyeti yoktur.
John Gasparini, KPMG
Ancak yapay zeka projeleri büyüdükçe faturalar da büyüyor. “Son zamanlarda yapay zeka maliyetlerinin görünürlüğünün nasıl elde edileceğini araştırmaya başlayan müşterilerle kesinlikle görüşmeler yaptım” diye ekliyor.
Diğer bulut uygulamalarında olduğu gibi firmaların bu maliyetleri nasıl tahmin edeceklerini ve yöneteceklerini anlamaları gerekiyor. Yapay zeka için ise eğitim için daha büyük veri hacimleri ve daha fazla kullanıcının yapay zeka araçları aracılığıyla daha fazla sorgu yapmasıyla maliyetler artabilir.
Teknoloji tedarikçisi NetApp’in Birleşik Krallık ve İrlanda çözüm direktörü Grant Caley, “Bulut ölçeklenebiliyor ve kısa vadeli bir maliyetle gerçekten iyi çalışıyor” diyor. “Ama orada bir şeyler bırakır bırakmaz, [including] verinin kendisi, bunun için para ödemeniz gerekiyor. Oldukça hızlı bir şekilde maliyet tartışmasına dönüşüyor.”
Buna ek olarak, eğer bir işletme yapay zeka projeleri için vektör veritabanlarını kullanıyorsa (ki çoğu bunu yapıyor), sektör rakamları orijinal veriler için olduğundan 10 kat daha fazla alana ihtiyaç duyabileceklerini gösteriyor. Bu, maliyetleri hızla artırır. Veri egemenliği, gizlilik ve güvenlik aynı zamanda buluttan şirket içi yapay zekaya geçişin nedenleridir.
PA Consulting’den Van Gelderen, “Kuruluşların boğuştuğu temel zorluklardan bazıları veri gizliliği ve egemenliğidir” diye uyarıyor. “Bu özellikle savunma, nükleer, sağlık ve veriler üzerinde sağlam kontrole ihtiyaç duyan diğer yüksek düzeyde düzenlemeye tabi kuruluşlar gibi sektörlerde kritik öneme sahiptir.”
Performans da bir sorun olabilir. “Gecikme, özellikle otonom sistemler veya uç tabanlı çözümler gibi gerçek zamanlı veya düşük gecikmeli yanıtlar gerektiren uygulamalar için başka bir endişe kaynağıdır” diyor. “Verilerin bulut sunucularına ve sunucularından aktarılmasından kaynaklanan gecikmeler sınırlayıcı bir faktör olabilir.”
Yapay zekayı şirket içine taşıma
Bulutun sınırlamaları, en azından bazı işletmelerin yapay zekayı şirket içinde çalıştırmalarına veya yapay zeka operasyonları büyüdükçe şirket içi seçeneklere yönelmelerine neden oluyor. Bu da, çalıştırılan yapay zeka kuruluşlarının türü, veri kaynaklarının konumu ve yapay zekanın eğitim ve çıkarım aşamalarının farklı ihtiyaçları ile bağlantılıdır.
Bulut ölçeklenebilir ve kısa vadeli bir maliyetle gerçekten iyi çalışır. Ama orada bir şeyler bırakır bırakmaz, [including] verinin kendisi, bunun için para ödemeniz gerekiyor. Oldukça hızlı bir şekilde maliyet tartışmasına dönüşür
Grant Caley, NetApp
PA Consulting’den Van Gelderen, “Günümüzde çoğu insan yapay zekadan bahsettiğinde, %90’ı GenAI teknolojilerini düşünüyor” diyor. “Ancak, üretken yapay zeka ve yüksek lisans, daha geniş yapay zeka ortamının yalnızca bir parçasıdır ve ‘geleneksel’ yapay zeka ile karşılaştırıldığında farklı altyapı gereksinimlerine sahiptir; örneğin, makine öğrenimi sınıflandırması ve regresyon modelleri ve doğal dil işleme ve bilgisayarlı görme gibi diğer alt kümeler. ”
Bu, kuruluşların yapay zeka teknolojisine yönelik birden fazla yaklaşıma ihtiyaç duyacağını gösteriyor. Ayrıca, erişimle artırılmış üretimin (RAG) artan önemi, başka bir karmaşıklık katmanı daha ekliyor. Kuruluşlar, yapay zeka modeli çıktısına kendi iş bağlamlarını eklemek için RAG’ı kullanıyor. Bu, büyük bir dil modelinin ham sonuçlarına göre daha hassas veya daha fazla güvenlik gerektiren sonuçların ortaya çıkmasına neden olabilir.
Pure Storage’ın EMEA saha baş teknoloji sorumlusu Patrick Smith, “Kendi ortamlarında üretken yapay zeka kullanan kuruluşlar için RAG’nin tartışılamaz hale geldiğini hissediyoruz” diyor.
“Öncelikle halüsinasyonlarla ilgili zorlukların hepsinin olmasa da çoğunun üstesinden geliniyor. İkinci olarak, herhangi bir ayar yapmanıza gerek kalmadan üretken yapay zeka ile kendi verilerinizi kullanma olanağı sağlar. Üçüncüsü, yeniden eğitim almadıkça mevcut verileri kullanamama gibi zorlu zaman sorununun üstesinden gelmenizi sağlar. [the model]. Dolayısıyla içgörülerin güncelliği de ele alınıyor” diye ekliyor.
Ancak bu, yapay zekayı çalıştırmak için gereken altyapıyı etkiliyor. Smith’e göre performansı ve “veri çekimini” etkiliyor. Veriyi bulmak için en iyi yerin büyük dil modelinden ziyade vektör veritabanları tarafından yönlendirildiğini öne sürüyor.
“Bu, genel çözümün nerede bulunduğunu tanımlıyor ve bu da insanları yapay zeka çözümlerini genel buluttan kendi veri merkezlerine geri çekmeye yönlendiriyor” diyor. “Bir vektör veritabanına ve RAG yaklaşımına iner inmez, modelin vektör veritabanınızın yanında olmasını istersiniz.”
İşletmelerin her zaman en yeni, bulut tabanlı, üretken yapay zeka modellerine de ihtiyacı yoktur. Meta’nın Llama’sı gibi açık kaynaklı yüksek lisans programlarına ilgi artıyor.
Fransa’nın Mistral gibi şirketlerinin yanı sıra sektöre özel modellerden daha az güçlü donanımlarla çalışabilen modeller ortaya çıkıyor.
Araştırmacılar aynı zamanda küçük dil modelleri üzerinde de çalışıyorlar. Bunlar, en hassas verileri işlemeye daha uygun olabilir ve şirket içinde çalıştırılması daha kolay olabilir. Sonunda bu modeller endüstri standardında bir sunucuda, hatta güçlü bir dizüstü bilgisayarda bile çalışabilir. Ancak bu seçenekler, özellikle eğitim ve ayarlama aşamalarında mevcut nesil LLM’leri kurum içinde çalıştırmaktan oldukça farklı bir öneridir.
Yapay zekanın şirket içinde çalıştırılması – pratik hususlar
Yapay zeka iş yüklerini şirket içinde çalıştırmak isteyen kuruluşların, BT altyapısı için teknik gereksinimleri ve ön maliyetleri, bulut için devam eden ve potansiyel olarak artan maliyetlerle karşılaştırması gerekir.
“Yapay zeka iş yüklerini şirket içinde çalıştırmak, yüksek donanım maliyetleri, güç ve soğutma gereksinimleri ve devam eden bakım talepleri dahil olmak üzere birçok zorluğu beraberinde getiriyor. Büyük ölçekli GenAI modellerini destekleyebilecek bir altyapı oluşturmak sermaye yoğun bir iştir,” diye uyarıyor PA Consulting’den Van Gelderen. “Büyük veri kümelerine ve muazzam işlem gücüne ihtiyaç duyulan eğitim aşamasında, bulut ortamları çoğu zaman açık bir avantaj sağlıyor.”
Bulutta başarısız olmak ucuz ama başarılı olmak pahalıdır
Patrick Smith, Saf Depolama
Firmaların ayrıca gerekli veri merkezi alanına, güce ve bileşenlere sahip olup olmadıklarını da düşünmeleri gerekir.
Uzman AI donanımı, özellikle de grafik işleme birimleri (GPU’lar) pahalıdır ve elde edilmesi zor olabilir. Hiper ölçekleyiciler ve onların bulut yapay zekası müşterileri, hacimsel olarak GPU’lara erişebilir. “Talep [GPU] yonga setleri arzı geride bırakıyor” diyor KPMG’den Gasparini. “Dolayısıyla şirketlerin tüketebileceği çok az şey kaldı.”
Kuruluşların, mevcut donanım üzerinde çalışabilen şirket içi yapay zeka uygulamaları için daha az kaynak yoğun modellere bakması gerekebilir.
Ancak bunu yapmanın verimlilik argümanları da var. Çıkarım aşamasında, yapay zeka modelleri sürekli çalışıyor olabilir, bu da kuruluşların veri merkezi kapasitesine sahip olması koşuluyla onları şirket içinde çalıştırmayı daha ekonomik hale getirebilir.
“Bir şeyleri veri merkezine geri koymak maliyet profili açısından iyi bir şey, özellikle de [the models] Her zaman çalışıyor olacağız,” diyor NetApp’tan Caley. “Bir projeyi gerçekleştirmek için yalnızca bir grup GPU’yu 10 saat boyunca çalıştıracaksanız belki bulut bunun için daha iyidir.”
Pure Storage’dan Smith de aynı fikirde. “Bulutta başarısız olmak ucuz ama başarılı olmak pahalıdır” diyor. “Prototiplemenizi orada yapın; planladığınız gibi gitmezse hepsini çöpe atabilirsiniz. Ancak bunu üretime aktardığınızda yatırım getirinizi kanıtladığınız için, bunun değerli bir iş hizmeti olduğunu kanıtlamış olursunuz ve potansiyel maliyetlere odaklanmak istersiniz.”
Bu, sonuçta kuruluşları, uzun vadeli yapay zeka stratejileri için buluta güvenmek yerine, sahip oldukları veya inşa etmeye güçlerinin yettiği BT altyapısıyla çalışacak yapay zeka modellerini bulmaya teşvik edecektir.