Spectro Cloud, kuruluşların perakende, sağlık hizmetleri, endüstriyel otomasyon, petrol ve gaz, otomotiv/bağlantılı arabalar ve daha fazlası gibi basit ve karmaşık uç konumlarda AI iş yüklerini uygun ölçekte dağıtma ve yönetme şeklini basitleştirmek için Palette EdgeAI’yi duyurdu.
Palette’in EdgeAI’si, Spectro Cloud’un temel Palette Edge Kubernetes yönetim platformunu genişleterek uç ortamların uygun ölçekte dağıtılması ve yönetilmesiyle ilgili benzersiz zorlukları ele alıyor, özellikle:
- Uç konumlarda sınırlı yerinde uzman BT uzmanlığı
- Uç altyapının, yazılım yığınının ve iletişimin dağıtık yapısı nedeniyle artan güvenlik riski.
- Tutarsız bağlantı
- Güvenlik düzeltmeleri, özellik yamaları ve güncellemeler de dahil olmak üzere maliyetli ve yıkıcı operasyonel görevler
Yapay zeka iş yüklerini uçta çalıştırma potansiyelini benimseyen rekor sayıda kuruluşla birlikte bu zorluklar daha da artıyor. Gartner, “derin öğrenmenin, 2021’de %10’un altındayken, 2027 yılına kadar uç kullanım durumlarının %65’inden fazlasına dahil edileceğini” öne sürüyor.
Büyük bir dil modeline (LLM) günlük güncellemelerin dağıtılması gibi veri merkezinde veya bulutta gerçekleştirilebilen faaliyetler, binlerce cihaz ve konumda maliyetli, hatta imkansızdır. Ayrıca, yapay zeka iş yüklerinin sıklıkla hassas verileri ve kritik fikri mülkiyet haklarını işlediği göz önüne alındığında, uç konumların açıkta kalan güvenlik durumu sorunludur.
CDW Digital Velocity Bulut Stratejisi ve Programları Başkanı Jim Melton, “Giderek daha fazla müşterimiz, modern, zengin uygulamalar sunmak ve müşteri deneyimini dönüştürmek için birincil mekanizma olarak uçta yapay zekayı keşfediyor” dedi. “Uçta yapay zekayla optimize edilmiş altyapı için dağıtımı basitleştirme ve kapsamlı yönetim sağlama ihtiyacı gerçek ve Palette EdgeAI gibi çözümler bu zorlukları doğrudan ele alıyor”.
Yeni Palette EdgeAI çözümü, uç altyapının ve yapay zeka yazılım yığınlarının yaşam döngüsü boyunca belirli gereksinimleri karşılamaya yönelik zengin bir yetenek paketi sunar.
- Yapay zekaya hazır eksiksiz altyapı yığınlarını dağıtır ve yönetir Müşterinin tercih ettiği işletim sistemi ve Kubernetes dağıtımından Kubeflow ve LocalAI gibi AI model motorlarına kadar uç bilgi işlem ortamlarında, kolay “tak ve çalıştır” cihaz ekleme dahil.
- Uç altyapısını korur güçlendirilmiş yapılandırmalar, SBOM taramaları, tam disk şifrelemesi ve sağlam erişim kontrolleriyle hassas fikri mülkiyet haklarını ve model verilerini korumak için. Palette, sıkı düzenlemeye tabi endüstriler için FIPS uyumluluğu sunar.
- Model erişilebilirliğini iyileştirirHugging Face ve bir işletmenin kendi özel depoları da dahil olmak üzere model pazarlara entegre erişim ile. Operatörler seçtikleri modelleri yapay zeka yığını ‘Küme Profili’nin veya planının bir parçası olarak dahil edebilirler.
- Modellerin dağıtımını kolaylaştırır bir tıklamayla otomatik olarak istediğiniz sayıda kenar konumuna. Palette, modeli altyapı yığınıyla birlikte dağıtacak ve politikaya uygun olmasını sağlamak için yığının durumunu düzenli olarak uzlaştıracak.
- Operatörlerin model sürümlerini yükseltmelerine ve geri almalarına olanak tanır Over-The-Air (OTA), sıfır kesinti süreli yükseltmeler ve gelişmiş model gözlemlenebilirliği ile uç mülk genelinde kanarya dağıtımlarının tasarlanması da dahil olmak üzere her bir uç kümesine bir tıklamayla dağıtılır.
- Dağıtılmış çıkarımı basitleştirirKuruluşların paralel yürütme ve azaltılmış model gecikmesi için birden fazla uç düğümden yararlanmasına olanak tanır.
- Birleşik eğitimin kilidini açaryerel verileri kullanarak cihaz üzerinde öğrenmeyle model iyileştirmeyi hızlandırma.
- Uç altyapı maliyetlerini azaltıriş yüklerinin sınırlı uç donanımlarda bile yüksek kullanılabilirlikle çalışmasını sağlayarak.
Palette’in benzersiz hataya dayanıklı mimarisi, iş yüklerinin alışılagelmiş üç düğüm yerine iki düğümlü Kubernetes kümelerine dağıtılmasına olanak tanır; bu, birden fazla sitede büyük bir tasarruf sağlar. 2 düğümlü HA artık tüm Palet çözümlerinde de mevcut.
Spectro Cloud CEO’su Tenry Fu, “Son teknoloji, yapay zeka çıkarım iş yükleri için doğal ortamdır” dedi. “Misyonumuz, müşterilerimiz için inovasyonu basitleştirmek ve halihazırda endüstrilerinde devrim yaratan, yapay zekanın avantajlarından en uç noktada yararlanan kuruluşlarla çalışıyoruz”.
RapidAI, sağlık sektöründe yapay zeka uygulamalarını hastanelere dağıtmak için Palette Edge’i kullanıyor ve daha iyi hasta sonuçları için klinisyenlere felç ve emboli gibi durumların hızlı ve doğru bir şekilde önceliklendirilmesi ve teşhis edilmesi için daha derin klinik bağlam sağlıyor.
RapidAI İnovasyon ve Teknolojiden Sorumlu Baş Sorumlusu Amit Phadnis, “RapidAI’de işimiz sürekli yapay zeka inovasyonu üzerine kurulu ve klinisyenlere doğrudan hastanede yardımcı oluyor” dedi. “Uygulamalarımızı güvenli ve kolay bir şekilde uç noktaya dağıtmak söz konusu olduğunda Spectro Cloud Palette’e güveniyoruz.”
Palette’in EdgeAI’si, 2024 boyunca hızlı gelecek yeteneklerle birlikte 2023’ün 4. çeyreğinde genel olarak satışa sunulacak.
Spectro Cloud ayrıca Qualcomm Ventures liderliğindeki yeni bir yatırım turunu da duyurdu. Yatırım, Spectro Cloud’un uç bilişim, yapay zeka ve kurumsal altyapı yönetimi alanındaki yenilikçiliğini hızlandıracak.
Qualcomm Technologies İş Geliştirmeden Sorumlu Başkan Yardımcısı Dev Singh, “Qualcomm, uç ekosistemde benzersiz bir konuma sahip ve yapay zekanın benimsenmesiyle birlikte uç bir zorunluluk haline geldi” dedi. “Endüstriyel, Kurumsal, Kamu Hizmetleri ve Perakende genelinde, yeni nesil esnek, yüksek performanslı uygulamalar oluşturmak için yapay zeka iş yüklerini uç ve bulut genelinde dinamik olarak düzenleme, uç dağıtımları basitleştirme ve kesinti olmadan yükseltmeleri yönetme ihtiyacını görüyoruz.”