Microsoft, Azure’un ABD merkezi veri merkezi bölgesinin yeni bir yapay zeka (AI) çıkarım hızlandırıcısı Maia 200’ü alan ilk bölge olduğunu duyurdu.
Microsoft, Maia 200’ü, yerel FP8/FP4 (kayan nokta) tensör çekirdeklerine sahip TSMC 3 nm süreci üzerine inşa edilmiş, en son yüksek hızlı bellek mimarisinden (HBM3e) 21 6 GB’ı kullanan, yeniden tasarlanmış bir bellek sistemi üzerine kurulu bir çıkarım merkezi olarak tanımlıyor. Bu, saniyede 7TB hızında veri aktarma kapasitesine sahiptir. Maia ayrıca 272 MB’lık çip üzerinde bellek ve Microsoft’un devasa modellerin beslenmesini, hızlı ve yüksek düzeyde kullanılmasını sağlamak için kullanıldığını söylediği veri taşıma motorlarını da sağlıyor.
Şirkete göre bu donanım özellikleri, Maia 200’ün üçüncü nesil Amazon Trainium’un FP4 performansının üç katını ve Google’ın yedinci nesil tensör işleme biriminin üzerinde FP8 performansını sunabileceği anlamına geliyor. Microsoft, Maia 200’ün şimdiye kadarki en verimli çıkarım sistemini temsil ettiğini ve mevcut sistemlere göre %30 daha iyi maliyet performansı sunduğunu söyledi ancak bu yazının yazıldığı sırada ürünün ABD dışında ne zaman satışa sunulacağına dair bir tarih veremiyordu.
Microsoft, ABD Merkezi veri merkezi bölgesinin yanı sıra, Maia 200 ile güncellenecek bir sonraki bölgenin Phoenix, Arizona yakınlarındaki ABD Batı 3 veri merkezi bölgesi olacağını da duyurdu.
Microsoft’un bulut ve yapay zekadan sorumlu başkan yardımcısı Scott Guthrie, Maia 200’ün nasıl konuşlandırıldığını açıklayan bir blog yazısında, kurulumun dört Maia hızlandırıcıyla yapılandırılmış tepsi raflarından oluştuğunu söyledi. Optimum çıkarım verimliliği için yüksek bant genişliğine sahip iletişimi yerel tutmak amacıyla her tepsi doğrudan, anahtarsız bağlantılarla tamamen bağlanır.
Aynı iletişim protokolünün, Maia 200 hızlandırıcı kümelerini minimum ağ atlamalarıyla ölçeklendirmenin bir yolunu sağlamak için Maia AI aktarım protokolünü kullanan raf içi ve raflar arası ağ oluşturma için kullanıldığını söyledi.
Guthrie, “Bu birleşik yapı, bulut ölçeğinde tutarlı performansı ve maliyet verimliliğini korurken programlamayı basitleştirir, iş yükü esnekliğini artırır ve atıl kapasiteyi azaltır” diye ekledi.
Guthrie, Maia 200’ün standart ethernet üzerine kurulu yeni bir tür iki katmanlı ölçeklendirme tasarımı sunduğunu söyledi. “Özel bir aktarım katmanı ve sıkı bir şekilde entegre edilmiş NIC [network interface card] tescilli kumaşlara güvenmeden performansın, güçlü güvenilirliğin ve önemli maliyet avantajlarının kilidini açıyor” diye ekledi.
Uygulamada bu, her hızlandırıcının saniyede 1,4 TB’a kadar özel ölçeklenebilir bant genişliği sunması ve Guthrie’ye göre Microsoft’un 6.144’e kadar hızlandırıcıdan oluşan kümeler arasında öngörülebilir, yüksek performanslı kolektif operasyonlar sağlamasına olanak sağlaması anlamına geliyor.
Tüm bunların anlamı, en azından Guthrie’nin bakış açısına göre, Maia 200 mimarisinin yoğun çıkarım kümeleri için ölçeklenebilir performans sunabilmesinin yanı sıra Azure’un küresel veri merkezleri filosunda güç kullanımını ve genel toplam sahip olma maliyetini azaltabilmesidir.
Yazılım tarafında, Maia 200 mimarisini ilk aşamalarından itibaren yönlendirmek için gelişmiş bir simülasyon hattının kullanıldığını söyledi. Boru hattı, büyük dil modellerinin hesaplama ve iletişim modellerinin yüksek doğrulukla modellenmesini içeriyordu.
Guthrie, “Bu erken ortak geliştirme ortamı, silikonu, ağ iletişimini ve sistem yazılımını birleşik bir bütün olarak optimize etmemizi sağladı – ilk silikondan çok önce” diyen Guthrie, Microsoft’un ayrıca düşük seviyeli çekirdek doğrulamasından tam model yürütme ve performans ayarlamasına kadar kullanılan önemli bir emülasyon ortamı geliştirdiğini de ekledi.
Şirket, lansmanın bir parçası olarak AI geliştiricilerine Maia 200 yazılım geliştirici kitinin bir önizlemesini sunuyor.