Yapay Zeka Grubu MLCommons, en üst düzey donanım ve yazılımın AI uygulamalarını ne kadar hızlı çalıştırabileceğini belirlemeye yardımcı olabileceğini söylediği iki yeni ölçüt tanıttı.
Openai’nin iki yıl önce chatgpt’in piyasaya sürülmesinden bu yana, CHIP şirketleri, milyonlarca insanın AI araçlarını kullanmasına izin veren kodu verimli bir şekilde çalıştırabilecek donanım yapmaya odaklanmaya başladı.
Temel modeller, sohbet botları ve arama motorları gibi AI uygulamalarını güçlendirmek için daha birçok soruya yanıt vermesi gerektiğinden, MLCommons, hız ölçmek için MLperf ölçütlerinin iki yeni sürümünü geliştirdi.
Yeni ölçütlerden biri, Meta’nın sözde Llama 3.1 405 milyar parametreli AI modeline ve test genel soruyu cevaplama, matematik ve kod üretimine dayanmaktadır.
Yeni format, bir sistemin büyük sorguları işleme ve verileri birden çok kaynaktan sentezleme yeteneğini test eder.
Nvidia, kıyaslama için birkaç cipsini gönderdi ve Dell Technologies gibi sistem inşaatçıları da yaptı.
MLCommons tarafından sağlanan verilere göre, 405 milyar parametreli büyük büyük ölçüt için gelişmiş mikro cihaz gönderileri yoktu.
Yeni test için, Nvidia’nın içeride 72 NVIDIA grafik işleme birimine (GPU) sahip olan Grace Blackwell’in en yeni nesli yapay zeka sunucuları, önceki nesilden 2,8 ila 3,4 kat daha hızlı, daha yeni bir modelle doğrudan bir karşılaştırma oluşturmak için daha yeni sunucu kullanılarak, bir brifingde, bir brifingde söyledi.
Nvidia, bir sohbet botunun aynı anda birden fazla yonga üzerinde çalıştığı AI çalışmasında önemli olan sunucularının içindeki yongaların bağlantılarını hızlandırmak için çalışıyor.
İkinci ölçüt aynı zamanda Meta tarafından oluşturulan açık kaynaklı bir AI modeline dayanmaktadır ve test, ChatGPT gibi tüketici AI uygulamaları tarafından belirlenen performans beklentilerini daha yakından simüle etmeyi amaçlamaktadır.
Amaç, kıyaslama için yanıt süresini sıkmak ve anında yanıtı yakınlaştırmaktır.