Qualcomm’un Nvidia’nın yapay hızlandırma pazarındaki hakimiyetine cevabı, sunucu rafları için mevcut sinirsel işlem birimi (NPU) teknolojisini temel alan bir çift yeni çip olan A1200 ve A1250’dir.
Qualcomm’un A1250 için yakın belleğe dayalı hesaplamayı temel alan yeni bir bellek mimarisi geliştirmesi dikkat çekicidir ve bunun “AI çıkarım iş yükleri için verimlilik ve performansta nesiller boyu bir sıçrama” sağladığını iddia eder. Qualcomm’a göre bunu, 10 kattan daha yüksek etkili bellek bant genişliği ve çok daha düşük güç tüketimi sunarak yapıyor.
A1200, Qualcomm tarafından, bir sunucu rafı kümesi kullanılarak yapay zeka çıkarımının çalıştırılması için özel olarak tasarlanmış olarak konumlandırılıyor. Şirket, düşük toplam sahip olma maliyeti (TCO) sağlayacak şekilde tasarlandığını iddia etti. Qualcomm, A1200’ün büyük dil modeli (LLM) ve çok modlu model (MMM) çıkarımı ve diğer AI iş yükleri için optimize edildiğini söyledi.
Qualcomm, A1200 ve A1250’ye eşlik edecek bir yazılım yığını sağlıyor; bunun “önde gelen yapay zeka çerçeveleriyle kusursuz uyumluluk” sunduğunu ve işletmelerin ve geliştiricilerin veri merkezleri genelinde güvenli, ölçeklenebilir üretken yapay zeka dağıtmasına olanak tanıdığını söylüyor.
Analist Forrester’ın belirttiği gibi, bu çipler GPU ve raf ölçekli ürünlerle Nvidia ve AMD’yi hedef alıyor gibi görünüyor. Forrester kıdemli analisti Alvin Nguyen’e göre, raf ölçekli yapay zeka çıkarımı pazarının son derece karlı olduğu ve mevcut raf tabanlı çıkarım donanımı sağlayıcılarının talebi tam olarak karşılayamadığı göz önüne alındığında Qualcomm’un teklifleri mantıklı geliyor.
“Yapay zekalarının çekirdeği mevcut NPU tasarımlarına dayanıyor gibi görünüyor, bu da giriş engellerini azaltıyor. Aynı zamanda Nvidia veya AMD’den (768 GB) daha büyük bellek kapasitesine sahip GPU’lar oluşturuyorlar ve bu da ona belirli yapay zeka iş yüklerinde avantaj sağlayabilir” diye ekledi.
J Gold Associates’in stratejik danışmanı ve teknoloji analisti Jack Gold, Mart ayında yayınlanan bir LinkedIn makalesinde, iki ila üç yıl içinde kurumsal yapay zeka iş yüklerinin %85’inin, eğitim iş yüklerinin mevcut hakimiyeti yerine çıkarıma dayalı olacağını öngördü. Eğitim genellikle AWS, Azure ve Google Cloud Platform gibi şirketlerin sağladığı hiper ölçekli veri merkezlerinde bulunan, yapay zeka için optimize edilmiş yüksek performanslı sunucu altyapısını gerektirir.
Pek çok sektör gözlemcisi gibi Gold da hiper ölçekli altyapıdaki işletmeler tarafından yürütülen çoğu yapay zeka iş yükünün pilot projeler olduğuna inanıyor. İş dünyası ve BT liderleriyle yapılan çok sayıda anketten elde edilen kanıtlar, bu projelerin çoğu zaman olgunlaşıp üretime geçemediğini gösteriyor. Ancak Gold’un işaret ettiği gibi, yüksek performanslı grafik işlemci birimi (GPU) yapay zeka hızlandırma donanımı gerektiren bir yapay zeka modeli eğitildikten sonra, daha mütevazı donanımlarda kullanılabilir.
“Günümüzde çalışan kurumsal yapay zeka iş yüklerinin çoğu hâlâ deneysel ve/veya küçük ölçekli. Yapay zeka, üretim düzeyinde çıkarım tabanlı çözümlere geçtikçe, üst düzey GPU’lara olan ihtiyaç daha az önem kazanıyor ve standart sunucu SoC’lerine olan ihtiyaç da azalıyor.” [systems on a chip] daha uygundur” dedi Gold.
Bu, Qualcomm’un A1200 ve A1250 donanımıyla ele almayı umduğu pazar fırsatıdır. Qualcomm Technologies’in teknoloji planlama, uç çözümler ve veri merkezinden sorumlu kıdemli başkan yardımcısı ve genel müdürü Durga Malladi, iki ürünün kuruluşların yapay zeka çıkarımlı yapay zeka modellerini daha kolay çalıştırması için bir yol sunduğunu söyledi.
Malladi, “Önde gelen yapay zeka çerçeveleri için kusursuz uyumluluk ve tek tıkla model dağıtımıyla Qualcomm AI200 ve AI250, sorunsuz benimseme ve hızlı inovasyon için tasarlandı” diye ekledi.