Red Hat, açık kaynak vLLM projesinin arkasındaki lider geliştirici Neural Magic’i satın alma niyetini açıkladı.
Bu satın alma, Red Hat ve ana şirketi IBM için, makine öğrenimi iş yüklerini grafik işlem birimleri (GPU’lar) ile donatılmış sunucuları devreye almaya ihtiyaç duymadan çalıştırmak isteyen kuruluşlar için giriş engelini azaltmanın bir yolu olarak konumlandırılıyor. Bu bağımlılık, yapay zekanın (AI) çeşitli endüstrilerde yaygın olarak benimsenmesini engelleyerek, yaşama ve çalışma şeklimizde devrim yaratma potansiyelini sınırlayarak piyasaya girişte bir engel oluşturuyor.
vLLM için GitHub girişi, yazılımı şu şekilde tanımlıyor: “LLM’ler için yüksek verimli ve bellek açısından verimli bir çıkarım ve hizmet motoru [large language models].”
Anlaşmayı tartışan bir blogda Red Hat başkanı ve CEO’su Matt Hicks, Neural Magic’in, pahalı ve genellikle temin edilmesi zor GPU sunucu donanımına ihtiyaç duymadan makine öğrenimi (ML) algoritmalarını çalıştırmanın bir yolunu geliştirdiğini söyledi.
Neural Magic’in kurucularının, kaynakları ne olursa olsun herkese yapay zekanın gücünden yararlanma yetkisi vermek istediklerini söyledi. “Çığır açan yaklaşımları, makine öğrenimi modellerini optimize etmek için budama ve niceleme gibi tekniklerden yararlanmayı içeriyordu; ML modellerinin performanstan ödün vermeden hazır CPU’lar üzerinde verimli bir şekilde çalışmasına izin vererek başlıyoruz” diye yazdı.
Hicks, daha yüksek verimlilikle olağanüstü performans sunabilen daha küçük, daha uzmanlaşmış yapay zeka modellerine geçişten bahsetti. “Bu modeller yalnızca eğitim ve dağıtım açısından daha verimli olmakla kalmıyor, aynı zamanda özelleştirme ve uyarlanabilirlik açısından da önemli avantajlar sunuyor” diye yazdı.
Red Hat, Hicks’e göre “bir model içindeki gereksiz bağlantıları stratejik olarak ortadan kaldıran” seyrekleştirme fikrini öne çıkarıyor. Bu yaklaşımın doğruluk veya performanstan ödün vermeden modelin boyutunu ve hesaplama gereksinimlerini azalttığını söyledi. Daha sonra model boyutunu daha da azaltmak için niceleme kullanılıyor ve böylece yapay zeka modelinin, azaltılmış bellek gereksinimlerine sahip platformlarda çalışmasına olanak sağlanıyor.
“Bütün bunlar daha düşük maliyetler, daha hızlı çıkarım ve yapay zeka iş yüklerini daha geniş bir donanım yelpazesinde çalıştırma yeteneği anlamına geliyor” diye ekledi.
Red Hat’in Neural Magic’i satın alma niyeti, ana şirket IBM’in kurumsal müşterilerin yapay zeka modellerini kullanmasına yardımcı olma stratejisine uyuyor.
IBM’in yazılım portföyünün ürün yönetimi lideri Kareem Yusuf, yakın zamanda Computer Weekly ile yaptığı bir röportajda, tedarikçinin “verilerini büyük dil modeline kolayca sıkıştırmak” isteyen müşterileri desteklemek için bir iş fırsatı bulduğunu söyledi. Bunun, kurumsal verilerin korunmasını ve kontrolünü sağlayacak şekilde büyük dil modellerinden faydalanmalarına olanak tanıdığını söyledi.
IBM, modeli sıfırdan yeniden eğitmek zorunda kalmadan LLM’lerde değişiklik oluşturmaya ve birleştirmeye yönelik araçları sağlayan InstructLab adında bir proje geliştirdi. Kurumsal veri kümelerine yönelik temel bir yapay zeka modeli olan IBM Granite ile birlikte açık kaynak topluluğunda mevcuttur.
IBM’in kıdemli başkan yardımcısı ve araştırma direktörü Dario Gil şunları söyledi: “Müşterilerimiz yapay zekayı kendi hibrit ortamlarında ölçeklendirmeye çalışırken, açık temeller üzerine inşa edilen sanallaştırılmış, bulut tabanlı LLM’ler endüstri standardı haline gelecektir. Red Hat’in açık kaynaktaki liderliği, IBM Granite ve Neural Magic’in yapay zekayı platformlar arasında ölçeklendirmeye yönelik teklifleri gibi verimli, açık kaynak model seçenekleriyle birleştiğinde, işletmelere, yapay zekayı kuruluş genelinde dağıtmak için ihtiyaç duydukları kontrol ve esnekliği sağlıyor.”