Red Hat, kurumsal yapay zeka platformunun evrimi olan Red Hat AI 3’ü piyasaya sürdü. Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) ve Red Hat OpenShift AI’nin en son yeniliklerini bir araya getiren platform, yüksek performanslı yapay zeka çıkarımının karmaşıklığını geniş ölçekte basitleştirerek kuruluşların iş yüklerini konsept kanıtından üretime daha kolay taşımasına ve yapay zeka destekli uygulamalarda iş birliğini geliştirmesine olanak tanıyor.
İşletmeler yapay zeka deneylerinin ötesine geçtikçe veri gizliliği, maliyet kontrolü ve çeşitli modellerin yönetimi gibi önemli engellerle karşı karşıya kalıyor. Massachusetts Teknoloji Enstitüsü NANDA projesinden “GenAI Bölünmesi: İş Dünyasında Yapay Zekanın Durumu”, kuruluşların yaklaşık %95’inin kurumsal harcamalarda ~40 milyar ABD dolarından ölçülebilir mali getiri göremediği üretim yapay zekasının gerçekliğini vurguluyor.
Red Hat AI 3, CIO’ların ve BT liderlerinin hızlandırılmış bilgi işlem teknolojilerine yaptıkları yatırımları en üst düzeye çıkarabilmeleri için daha tutarlı, birleşik bir deneyim sağlayarak bu zorlukların üstesinden gelmeye odaklanıyor. Yapay zeka iş yüklerini hibrit, çok sağlayıcılı ortamlar arasında hızlı bir şekilde ölçeklendirmeyi ve dağıtmayı mümkün kılarken aynı zamanda aracılar gibi yeni nesil yapay zeka iş yüklerinde ekipler arası işbirliğini aynı ortak platformda geliştirir.
Açık standartlar üzerine inşa edilmiş bir temele sahip olan Red Hat AI 3, veri merkezlerinden genel buluta ve bağımsız yapay zeka ortamlarına ve en uç noktalara kadar herhangi bir donanım hızlandırıcıdaki her modeli destekleyerek, kuruluşlara yapay zeka yolculuğunda buluşturuyor.
Kurumsal yapay zeka çıkarımına geçiş
Kuruluşlar yapay zeka girişimlerini üretime taşıdıkça vurgu, eğitim ve modellerin ayarlanmasından, kurumsal yapay zekanın “yapma” aşaması olan çıkarımlara doğru kayıyor. Red Hat AI 3, büyük dil modellerinin (LLM’ler) üretim düzeyinde sunulmasını sağlamak için son derece başarılı vLLM ve llm-d topluluk projelerini ve Red Hat’in model optimizasyon yeteneklerini temel alarak ölçeklenebilir ve uygun maliyetli çıkarımı vurguluyor.
Red Hat OpenShift AI 3.0, CIO’ların yüksek değerli donanım hızlandırmalarından en iyi şekilde yararlanmasına yardımcı olmak için LLM’lerin Kubernetes’te yerel olarak nasıl çalıştığını yeniden tasarlayan llm-d’nin genel kullanılabilirliğini sunuyor.
llm-d, Kubernetes orkestrasyonunun kanıtlanmış değerinden ve vLLM performansından faydalanarak akıllı dağıtılmış çıkarım sağlar; Kubernetes Gateway API Inference Extension, NVIDIA Dynamo düşük gecikmeli veri aktarım kitaplığı (NIXL) ve DeepEP Uzmanlar Karması (MoE) iletişim kitaplığı gibi temel açık kaynak teknolojileriyle bir araya gelerek kuruluşların şunları yapmasına olanak tanır:
- Akıllı, çıkarıma duyarlı model planlama ve ayrıştırılmış sunumla maliyetleri azaltın ve yanıt sürelerini iyileştirin
- Kubernetes’te modellerin uygun ölçekte dağıtımını kolaylaştıran kuralcı “İyi Aydınlatılmış Yollar” ile operasyonel basitlik ve maksimum güvenilirlik sunun.
- LLM çıkarımını NVIDIA ve AMD dahil olmak üzere farklı donanım hızlandırıcılara dağıtmak için platformlar arası destekle esnekliği en üst düzeye çıkarın.
llm-d, vLLM’yi temel alarak onu tek düğümlü, yüksek performanslı bir çıkarım motorundan dağıtılmış, tutarlı ve ölçeklenebilir, Kubernetes ile sıkı bir şekilde entegre edilmiş ve öngörülebilir performans, ölçülebilir yatırım getirisi ve etkili altyapı planlaması sağlayacak şekilde tasarlanmış bir hizmet sistemine dönüştürüyor. Tüm geliştirmeler, oldukça değişken LLM iş yüklerini yönetme ve Uzmanların Karması (MoE) modelleri gibi devasa modellere hizmet vermenin zorluklarını doğrudan ele alıyor.
İşbirliğine dayalı yapay zeka için birleşik bir platform
Red Hat AI 3, üretime hazır üretken yapay zeka çözümleri oluşturmanın işbirlikçi taleplerine göre uyarlanmış birleşik, esnek bir deneyim sunuyor. Hem platform mühendislerinin hem de yapay zeka mühendislerinin yapay zeka stratejilerini yürütmeleri için ekipler arasında işbirliğini teşvik ederek ve iş akışlarını tek bir platform aracılığıyla birleştirerek somut değer sunmak üzere tasarlandı.
Konsept kanıtından üretime kadar ölçeklendirmek için gereken üretkenliği ve verimliliği sağlamaya odaklanan yeni yetenekler şunları içerir:
- Hizmet Olarak Model (MaaS) yetenekler dağıtılmış çıkarım üzerine kuruludur ve BT ekiplerinin kendi MaaS sağlayıcıları gibi hareket etmelerine, ortak modellere merkezi olarak hizmet vermelerine ve hem yapay zeka geliştiricileri hem de yapay zeka uygulamaları için isteğe bağlı erişim sunmalarına olanak tanır. Bu, daha iyi maliyet yönetimine olanak tanır ve gizlilik veya veri kaygıları nedeniyle halka açık yapay zeka hizmetlerinde çalıştırılamayan kullanım senaryolarını destekler.
- Merkezin var platform mühendislerine temel yapay zeka varlıklarını keşfetme, dağıtma ve yönetme yetkisi verir. Doğrulanmış ve optimize edilmiş gen yapay zeka modelleri de dahil olmak üzere seçilmiş bir model kataloğuna sahip merkezi bir merkez, modellerin yaşam döngüsünü yönetmek için bir kayıt defteri ve OpenShift AI üzerinde çalışan tüm yapay zeka varlıklarını yapılandırmak ve izlemek için bir dağıtım ortamı sağlar.
- Sanki stüdyon varmış gibi Yapay Zeka mühendislerinin modellerle etkileşim kurması ve yeni nesil Yapay Zeka uygulamalarının hızlı bir şekilde prototipini oluşturması için uygulamalı bir ortam sağlar. Yapay zeka varlıkları uç noktası özelliği sayesinde mühendisler, modellerin harici araçlarla etkileşimini kolaylaştırmak için tasarlanan mevcut modelleri ve MCP sunucularını kolayca keşfedip kullanabilir. Yerleşik oyun alanı, sohbet ve erişimle artırılmış nesil (RAG) gibi kullanım durumları için modelleri denemek, istemleri test etmek ve parametreleri ayarlamak için etkileşimli, durum bilgisi olmayan bir ortam sağlar.
- Yeni Red Hat tarafından doğrulanmış ve optimize edilmiş modeller geliştirmeyi kolaylaştırmak için dahil edilmiştir. Seçilen seçim, OpenAI’nin gpt-oss’u ve DeepSeek-R1 gibi popüler açık kaynak modellerini ve konuşmayı metne dönüştürme için Whisper ve ses özellikli aracılar için Voxtral Mini gibi özel modelleri içerir.
Yeni nesil yapay zeka aracılarının temelini oluşturmak
Yapay zeka aracıları, uygulamaların oluşturulma biçimini dönüştürmeye hazırlanıyor ve onların karmaşık, otonom iş akışları, çıkarım yeteneklerine ağır talepler getirecek. Red Hat OpenShift AI 3.0 sürümü, yalnızca çıkarım yetenekleriyle değil aynı zamanda aracı yönetimine odaklanan yeni özellikler ve geliştirmelerle ölçeklenebilir aracılı yapay zeka sistemleri için temel oluşturmaya devam ediyor.
Red Hat, aracı oluşturmayı ve dağıtmayı hızlandırmak için Llama Stack’ı temel alan bir Birleşik API katmanını kullanıma sundu; bu katman, geliştirmeyi OpenAI uyumlu LLM arayüz protokolleri gibi endüstri standartlarıyla uyumlu hale getirmeye yardımcı oluyor. Ek olarak Red Hat, daha açık ve birlikte çalışabilir bir ekosistemi desteklemek için, modern yapay zeka aracıları için temel bir özellik olan, yapay zeka modellerinin harici araçlarla etkileşimini kolaylaştıran güçlü ve yeni ortaya çıkan bir standart olan Model Bağlam Protokolü’nü (MCP) ilk benimseyenlerden biridir.
Red Hat AI 3, model özelleştirmesi için mevcut InstructLab işlevselliği üzerine inşa edilmiş yeni bir modüler ve genişletilebilir araç seti sunuyor. Geliştiricilere daha fazla esneklik ve kontrol sağlayan özel Python kütüphaneleri sağlar. Araç seti, yapılandırılmamış belgelerin yapay zeka tarafından okunabilir bir formatta alınmasını kolaylaştıran veri işleme için Docling gibi açık kaynaklı projeler tarafından desteklenmektedir. Aynı zamanda sentetik veri üretimi için esnek bir çerçeve ve LLM’nin ince ayarı için bir eğitim merkezi içerir. Entegre değerlendirme merkezi, AI mühendislerinin sonuçları izlemesine ve doğrulamasına yardımcı olarak, daha doğru ve alakalı AI sonuçları için özel verilerinden güvenle yararlanmalarını sağlar.
“İşletmeler yapay zekayı deneyden üretime ölçeklendirirken, yeni bir karmaşıklık, maliyet ve kontrol zorlukları dalgasıyla karşı karşıya kalıyorlar. Red Hat AI 3 ile, bu engelleri en aza indiren kurumsal düzeyde, açık kaynaklı bir platform sağlıyoruz. llm-d ile dağıtılmış çıkarım ve ajansal yapay zeka için bir temel gibi yeni yetenekler getirerek, BT ekiplerinin yeni nesil yapay zekayı, kendi şartlarına göre, daha güvenli bir şekilde operasyonel hale getirmelerine olanak sağlıyoruz. Altyapı,” dedi Red Hat Yapay Zeka İş Birimi Başkan Yardımcısı ve Genel Müdürü Joe Fernandes.
“Red Hat, dağıtılmış yapay zeka çıkarımını üretime getirirken, AMD de bunun arkasındaki yüksek performanslı temeli sağlamaktan gurur duyuyor. Birlikte, AMD EPYC™ işlemcilerin verimliliğini, AMD Instinct™ GPU’ların ölçeklenebilirliğini ve AMD ROCm™ yazılım yığınının açıklığını bir araya getirerek kuruluşların denemelerin ötesine geçmesine ve yeni nesil yapay zekayı operasyonel hale getirmesine yardımcı olduk; performansı ve ölçeklenebilirliği şirket içi, bulutta gerçek iş etkisine dönüştürdük, ve uç ortamlar,” diye sözlerini tamamladı AMD Sunucu ve Kurumsal Yapay Zeka Kıdemli Başkan Yardımcısı ve Genel Müdürü Dan McNamara.