“Bilgisayardaki her şey gitgide küçülürken, 21. yüzyıl bilgisayarı bir akıllı saatten hiper ölçekli veri merkezine kadar ölçeklenen bir şey” diyor. Michael KaganNvidia’nın CTO’su.
“Veri merkezi bilgisayardır ve Nvidia veri merkezinin mimarisini inşa ediyor. Silikon ve çerçevelerden, bu 21. yüzyıl makinesinde verimli uygulama için ayarlama uygulamalarına kadar gereken hemen hemen her şeyi inşa ediyoruz.”
İsrail’in Hayfa bölgesinde bulunan Kagan, Nvidia’ya üç yıl önce şirketin CTO’su olarak katıldı. Mellanox Teknolojileri. Nvidia’nın kurucusu ve CEO’su Jensen Huang, Kagan’a tüm sistemlerin mimarisini denetleyeceğini söyledi.
Moore Yasasının Ötesinde
Tanınmış Moore Yasası, Gordon Moore’un 1965’te yazdığı bir makaleden geliyor. Entegre devrelere daha fazla bileşen sıkıştırmak. Makalede, daha sonra Intel’in CEO’su olan Moore, teknoloji ve ekonominin birlikte çalışarak yarı iletken endüstrisinin her yıl iki kat daha fazla transistörü aynı miktarda alana sıkıştırmasına izin vereceğini tahmin ediyordu. Bunun önümüzdeki 10 yıl boyunca devam edeceğini söyledi.
Moore Yasası olarak bilinen bu kehanet, 10 yıl sonra değiştirildi. 1975’te Moore, ikiye katlamanın her yıl yerine yaklaşık iki yılda bir gerçekleşeceğini söyledi. Öngörülebilir gelecekte de devam edeceğini söyledi. Aslında, çip üreticileri, ekonominin ve fizik yasalarının her iki yılda bir iki kat daha fazla transistörü aynı miktarda alana sıkıştırmak için artık güvenemeyecekleri 2005 yılına kadar bu ikiye katlamadan yararlandı. Transistörler arasında artık boşluk kalmamıştı.
O zamandan beri çip üreticileri bilgi işlem gücünü artırmanın başka yollarını buldu. Bunun bir yolu çekirdek sayısını artırmaktı. Başka bir yol da, darboğazlara yatkın paylaşımlı bir veri yolu yerine bir ağ kullanarak farklı bileşenleri birbirine daha doğrudan bağlayarak birden çok yonga arasındaki ve işlemciler ile bellek arasındaki iletişimi geliştirmekti.
Yarı iletken üreticileri ayrıca bilgi işlem gücü sağlamanın yeni yollarını icat etmek için yığında daha da ileri gitti. Algoritmalara, hızlandırıcılara ve verilerin işlenme biçimine baktılar. Hızlandırıcılar, belirli görevleri çok hızlı bir şekilde gerçekleştiren özel bileşenlerdir – genellikle çiplerdir. Bir sistem böyle bir görevle karşılaştığında bunu hızlandırıcıya devrederek genel performansta kazanımlar elde eder.
Üreticiler, verilerin temelde yeni bir şekilde işlendiği yapay zekaya (AI) özel olarak baktılar. von Neumann mimarisi bilgisayar endüstrisi buna çok alışmıştı.
Kagan, “AI, sinir ağlarına dayalıdır” diye açıklıyor. “Bu, bir talimatı yürüten, sonuca bakan ve sonra ne yapılacağına karar veren bir seri makine olan von Neumann mimarisinden çok farklı türde bir veri işleme gerektiriyor.
“Veri işlemenin sinir ağı modeli, insan beyniyle ilgili çalışmalardan esinlenmiştir. Sinir ağı verilerini beslersiniz ve o öğrenir. Üç yaşındaki bir çocuğu köpekler ve kedileri göstermeye benzer şekilde çalışır. Sonunda çocuk, aralarında ayrım yapmayı öğrenir. sinir ağları sayesinde artık von Neumann makinesinde nasıl çözeceğimizi bilmediğimiz sorunları çözebiliyoruz.”
Yapay zeka ve dijital ikizler gibi diğer yeni uygulamalar, bilgi işlem performansı ihtiyacını hızlandırdı ve yeni bir paradigma gereksinimini gündeme getirdi. Geçmişte, yazılım geliştirme çok az bilgi işlem gücü gerektiriyordu, ancak ortaya çıkan programı çalıştırmak çok daha fazlasını gerektiriyordu. Buna karşılık, yapay zeka, sinir ağlarını eğitmek için çok büyük miktarda bilgi işlem gerektirir, ancak sinir ağlarını çalıştırmak için çok daha az işlem gerektirir.
Büyük bir AI modelini eğitmek için tek bir GPU veya CPU yeterli değildir. Örneğin, ChatGPT’nin eğitilmesi için yaklaşık 10.000 GPU gerekir. Tüm GPU’lar paralel olarak birlikte çalışır ve elbette iletişim kurmaları gerekir. Devasa paralel işlemeye ek olarak, yeni paradigma, veri işleme birimi (DPU) olarak adlandırılan yeni bir tür özel çip gerektirir.
Huang Yasası
“2003 yılında dünyanın en hızlı makinesi Dünya Simülatörüterafloplarda performans gösterdi” diyor Kagan. “Günümüzün en hızlı bilgisayarı sınır, exaflops’ta milyon kat daha fazla performans sergiliyor. 20 yıl içinde terafloptan exaflop’a geçtik.”
“1983 ile 2003 arasındaki 20 yıl boyunca bilgi işlem performansı bin kat arttı ve sonraki 20 yıl içinde bilgisayar performansı milyon kat arttı. Bu fenomen, bazılarının ‘Huang Yasası’ olarak adlandırdığı şeydir. CEO’muz Jensen Huang, GPU hızlandırmalı bilgi işlemin performansını iki yılda bir iki katına çıkardığını gözlemledi.
“Aslında her yıl iki kattan daha hızlı gidiyor. Şimdi yapay zeka iş yüklerinden ve yeni bir veri işleme yönteminden bahsediyoruz. Bir uygulamayı Nvidia Hopper’a karşı ne kadar hızlı çalıştırabileceğinize bakarsanız. Önceki nesle kıyasla mevcut nesil GPU’muz olan Ampere, 20 kattan fazla.”
Kagan, şu anda bilgi işlemi daha hızlı yapan şeyin esas olarak algoritmalar ve hızlandırıcılar olduğunu söylüyor: “GPU’ların her yeni nesliyle birlikte, verileri çok daha karmaşık yöntemlerle işleyen daha fazla hızlandırıcı – ve daha iyi hızlandırıcı – ekleniyor.
“Her şey, işlevleri farklı parçalar arasında nasıl bölüştüğünüzle ilgili. Artık üç bilgisayar öğeniz var – GPU, CPU ve DPU – ve bunları birbirine bağlayan ve aynı zamanda bilgi işlem yapan bir ağ. Nvidia tarafından satın alınan şirket Mellanox’ta ağ içi Veriler ağ üzerinden akarken veri hesaplamalarını yapabileceğiniz bilgi işlem.”
Moore Yasası, her iki yılda bir bilgi işlem performansını ikiye katlamak için transistör sayısına güveniyordu; Huang Yasası, sistem performansını iki yılda bir ikiye katlamak için GPU hızlandırmalı hesaplamaya güveniyor. Ancak şimdi, Huang Yasası bile her yıl 10 kat daha fazla bilgi işlem gücüne ihtiyaç duyan yapay zeka uygulamalarından gelen artan talebi karşılayamayabilir.