Merkezi işlem birimleri (CPU’lar), grafik işlem birimleri (GPU’lar) ve hatta veri işleme birimleri (DPU’lar) var; bunların hepsi artık iyi biliniyor ve sıradan. Özellikle GPU’lar, yapay zekanın (AI) ortaya çıkmasıyla birlikte son zamanlarda öne çıkmaya başladı.
Ayrıca Google’ın ürettiği ve yalnızca bulut hizmetleri aracılığıyla kullanılabilen tensör işleme birimlerini (TPU’lar) duymuş olabilirsiniz.
Peki TPU’lar nedir ve onlara neden ihtiyacınız olabilir?
Kısaca yapay zeka işleme operasyonlarında bulunan yüksek boyutlu verilerle kullanılmak üzere özelleştirilmiş işleme birimleridir. Ancak özelliklerini ayrıntılı olarak ortaya koymadan önce, diğer işlemci biçimleriyle nasıl karşılaştırıldıklarını görelim.
Muhtemelen hepimizin bildiği gibi CPU’lar tüm bilgisayarların temelidir. Çoklu çekirdekler (başka bir deyişle, CPU içindeki bireysel işlem birimleri) birden fazla hesaplama işlevini yerine getirdiğinden, günümüzde çekirdek geçerli kelimedir.
CPU’lar aslında bilgi işlem dünyasının genel amaçlı işlemcileridir. Sistemin diğer bölümlerine gelen talimatları ve giden mesajları ve olayların genel orkestrasyonunu yönetirler. Bunun nedeni, çok sayıda işlevi aynı anda yönetebilmeleri ve bu konuda iyi olmalarıdır.
Ancak CPU’lar ortaya çıktığından beri, yoğun işlem gerektiren işlemleri daha özel çiplere aktarma ihtiyacı da ortaya çıktı.
GPU’lar varken TPU’lar ne işe yarar?
Ve böylece GPU’lar ortaya çıktı. Başlangıçta, adından da anlaşılacağı gibi, oyunlarda grafik işlemeyi gerçekleştirmek için tasarlanmışlardı, ancak daha sonra yapay zekada kullanım alanı bulmaya başladılar. Bunun nedeni grafik işlemenin tamamen matris işlemleriyle ilgili olmasıdır. Başka bir deyişle, örneğin çoklu boyutlarda matrisler içeren hesaplamalarda bunların yapay zeka operasyonlarına da uygun olduğu görüldü.
Ancak GPU’lar matris işlemlerini gerçekleştirebilse de, göreceğimiz gibi bu göreve TPU’lar kadar özelleştirilmiş değiller.
Nvidia son zamanlarda yapay zeka kullanım durumları için GPU pazarıyla eşanlamlı hale geldi, ancak bunlar diğer satıcılardan da temin edilebiliyor.
DPU’lar ne yapar?
Ayrıca veri aktarımını, veri azaltmayı, güvenliği ve analitiği yönetmek için sunuculara yerleştirilen DPU’lar da vardır. Burada, ilgili görevlere daha fazla uzmanlık kazandırmak ve CPU’yu daha genel görevler ve düzenleme görevleri için serbest bırakmak için bu görevlerin yükü DPU’larla CPU’lardan alınır.
DPU’lar Intel, Nvidia, Marvell ve AMD’nin yanı sıra Nitro kartlarıyla bulutta örneğin Amazon Web Services’ten temin edilebilir.
TPU’ların özelliği nedir?
TPU’lar ilk kez yaklaşık 2016 yılında kullanıldı. Yukarıda da belirtildiği gibi tensör işleme birimleridir. Tensör, nesnelere yüksek boyutlu sayılar atayan ve bunları işlemek için kullanan yapay zeka işlemenin önemli bir planı olan bir matris veya çok boyutlu sayı biçimidir.
Google’ın TPU’larında özel olarak kullanılan matematiksel tensörler olsun veya olmasın, onları karakterize eden en önemli şey, bunların yüksek boyutlu sayılar içeren hesaplamalar için özelleştirilmiş ASIC çipleri etrafında oluşturulmuş olmasıdır. ASIC, uygulamaya özel entegre devre anlamına gelir. Bu, özellikle belirli işlemler için tasarlanmış çip donanımı anlamına gelir. Spesifik olarak, bir TPU üzerindeki ASIC’lere matris çarpma birimleri (MXU’lar) adı verilir.
TPU’ları genel amaçlı işlemciler olan CPU’lardan farklı kılan da budur. DPU’lar ve GPU’lar, tek bir görev etrafında tasarlanmayan ancak geniş bir kullanım yelpazesi için gerektiği şekilde yapılandırılabilen ASIC’ler veya sahada programlanabilir kapı dizileri (FPGA’ler) etrafında oluşturulabilir.
Google’ın TPU’larındaki tensör ASIC’si, verilerin yüksek boyutlu desenlerle sıralandığı gelişmiş yapay zeka analiz modellerinin çalıştırılmasına yardımcı olan açık kaynaklı TensorFlow AI yazılım çerçevesiyle birlikte kullanılmak üzere tasarlandı.
TPU’lar Google’dan hizmet olarak sunulur. En son sürüm olan TPU v5p, saniyede 459 kayan nokta işleminin (teraflop) en yüksek düzeyde hesaplanmasına olanak tanır. Günümüzde TensorFlow’a ek olarak Google TPU’lar, görüntü sınıflandırma ve oluşturma ve büyük dil modeli işlemlerinin mümkün olmasıyla PyTorch ve Jax gibi diğer AI çerçevelerini desteklemektedir.
TPU’ların uzmanlaşmasıyla ilgili tüm bunları söyledikten sonra, kendi yapay zeka sistemlerini şirket içinde kurmayı düşünen hiç kimse bunları zaten satın alamayacak. GPU’lar da aynı işi yapacak ve jüri, TPU’ların performans avantajı olup olmadığı konusunda kararsız. Sadece (Google) bulutta çalışmak istiyorsanız, TPU’lar orada mevcut olan AI yazılım yığınıyla iyi çalışacaktır.