CIO’lar, bütçe kısıtlamalarında gezinirken ve üst düzey yöneticilerden artan taleplerde başarılı dijital girişimler sunmak için bir süredir muazzam bir baskı altında. Yakın tarihli bir Gartner araştırması, CIO’ların% 92’sinin yapay zekayı (AI) 2025 yılına kadar kuruluşlarına entegre ettiğini, ancak% 49’unun teknolojinin değerini değerlendirmek ve sergilemek için mücadele ettiğini ortaya koyuyor. Burada çevrelerde mi dolaşıyoruz?
Bu zorlukların ortasında, küçük dil modelleri (SLM’ler), stratejik önceliklere uyabilecek daha düşük maliyetli ve daha güvenli AI yeteneklerini vaat eden zorlayıcı bir çözüm olarak ortaya çıkmıştır. SLM’ler hakkında çok fazla mantıklı.
BearingPoint baş veri bilimcisi Amer Sheikh, “AI topluluğu Mistral Small ve Deepseek R1 gibi küçük dil modellerini aktif olarak araştırıyor” diyor. “Bu modeller, sarılma yüzündeki indirme sayısıyla kanıtlandığı gibi önemli bir çekiş gördü. Popülerlikleri doğruluk, hız ve maliyet etkinliği ticareti yapma yeteneklerinden kaynaklanıyor.”
Kenara zeka eklemek
Ve bu kilit nokta. Bu bir değiş tokuş-ama açıkça yapmaya değer. SLM’ler, doğası gereği, büyük dil modelleri (LLMS) ile ilişkili genel giderler olmadan AI uygulamak isteyen kuruluşlar için pratik bir alternatif sunar. Ayrıca, AI modellerinin bulut altyapısına güvenmeden akıllı telefonlarda, Nesnelerin İnterneti (IoT) cihazlarında ve endüstriyel sistemlerde çalışmasını sağlayan bir sonraki Edge AI benimseme dalgasını yönlendiriyorlar.
Pegasystems’teki AI Laboratuar Direktörü ve Leiden Üniversitesi’nde AI yardımcı doçenti Peter Van Der Putten, “Küçük modeller infazın kenara itme olasılığını açıyor” diyor. “Bu, üst düzey akıllı telefonlarda, kameralar gibi IoT cihazlarında ve uygun onayla, şu anda açık internette mevcut olmayanlardan öğrenmek için tamamen yeni veri kaynaklarının kilidini açmak anlamına gelebilir.”
Sözlere rağmen, mobil ve IoT cihazlarındaki SLM’lerin gerçek dünya uygulamaları erken aşamalarda kalır. Bazı pratik uygulamalar arasında, Çinli otomobil üreticilerinin bilgi-eğlence sistemlerine (Geely gibi) entegre edilen Deepseek’in R1 modeli ve mobil AI uygulamaları için tasarlanmış küçük bir model olan Phi-3’ü içerir. Eğitimde, Stanford’un Smile Flug, İnternet bağlantısı olmadan Raspberry Pi cihazlarında etkileşimli öğrenme deneyimleri sunmak için küçük AI modelleri kullanır. Bu örnekler SLM’lerin artan potansiyelini göstermektedir.
“SLM’ler, belirli alan bilgisi için bir gereksinimin olduğu bir dizi sektörde konuşlandırılabilir ve konuşlandırılabilir,” diye ekliyor Sheikh, müşteri hizmetleri sohbet botları, sanal asistanlar ve metin özetlemesinde kullanımlarını vurguluyor.
Geniş hesaplama gücü ve bulut kaynakları gerektiren LLM’lerin aksine, SLM’ler yerel olarak çalışabilir, maliyetleri azaltabilir ve güvenlik risklerini azaltabilir, bu nedenle kenar cihaz zekasını artırma uygunlukları. “Çıkarım maliyetlerinde büyük bir azalma var. Ancak, ince ayar ve kendi kendine barınma için küçük maliyetler olacak” diye ekliyor.
GlobalData’nın ana analisti Isabel Al-Dhahir, SLM’lerin daha küçük, daha odaklanmış veri kümeleriyle artırılabilir. “SLMS’nin kullanılması, hesaplama güç gereksinimleri, fahiş maliyetler ve yetersiz alan bilgisi de dahil olmak üzere genel amaçlı LLM’lerle ilişkili çeşitli zorlukları ortadan kaldırıyor.”
Kesin, sektöre özgü kullanım durumlarına odaklanma yeteneği, telekom, muhasebe ve hukuk gibi düzenlenmiş sektörlerin SLM’leri daha kolay kabul etmesinin neden olduğudur.
Al-Dhahir, “Muhasebe düzenlemesi, telekom düzenlemeleri ve çeşitli cihaz uygulamaları ve ev otomasyonu ile ilgili profesyonel hizmetler için SLM’ler gördük” diye ekliyor.
Geri Artırılmış Üretim (RAG) teknikleri ile işletmeler, bu modellerin belirli alanlarında doğruluğunu daha da geliştirebilir ve artırabilir.
Endüstri büyüyen LLM-Güz
Maliyetin ötesinde, güvenlik özellikle kenar cihazlarında önemli bir faktör olmaya devam etmektedir. Inmotion Ventures’ın (Jaguar Land Rover’ın yatırım kolu) müdürü Saman Nasrolahi’ye göre, SLM’lerin de birkaç kutuyu işaretlediği yer.
LLM’lerin etrafındaki korkunun çoğu, veri harmanlama ve analitik açısından perde arkasında neler olup bittiğine dair şeffaflık eksikliği ile ilişkilidir. SLM’ler, üretken yapay zeka (Genai) dünyasının şirket içi versiyonudur.
Nasrolahi, “Maliyet azaltmaya ek olarak, bu yaklaşım, veri ihlallerine karşı çok daha güvenli ve daha az savunmasız hale getiriyor çünkü verilerin bir kuruluşun sınırlarını terk etmesi gerekmiyor” diyor.
Bu yetenek özellikle, düzenleyici uyum ve veri korumasının çok önemli olduğu sağlık, finansal hizmetler ve yasal sektörler için çok önemlidir.
Nasrolahi, “Tüm siber güvenlik saldırılarının yaklaşık üçte biri, veriler harici bir satıcı ile paylaşıldığında meydana gelir. SLMS verileri yerinde tutarak saldırı yüzeyini ve işletme güvenlik açıklarını azaltabilir” diye ekliyor.
İşletmelerin veri egemenliği ve uyumluluk konusunda giderek daha fazla endişe duydukları bir zamanda, AI işlemeyi yerelleştirme yeteneği kesinlikle önemli bir avantajdır.
Black Duck’taki Kıdemli Araştırma ve Geliştirme Müdürü (Veri Bilimi) Andrew Bolster, SLMS’nin taşınabilirliğinin en azından “GPT-4, Claude ve hatta Llama’nın juggernautları” ile karşılaştırıldığında, onları Edge Dağıtımını çok uygun hale getirdiğini ekliyor. Güvenlik, maliyet ve işlevsellik cazip önermelerdir.
“Kenar cihazlarında çalışan SLM’ler, kullanıcıların verilerinin, gecikmeyi ve performansı artırırken, akıllıca bir yanıt veya eyleme katkıda bulunmak için cihazdan ayrılmak zorunda olmadığı anlamına gelmez, bu da akıllı operasyonları kullanıcıların gizliliğini korurken daha ‘alakalı’ ve ‘hızlı’ hissettirir” diyor.
Bu tür iş yüklerini desteklemek için özel yonga setlerindeki ilerlemelerle, SLM’lerin gücü, bellek ve performans gereksinimleri artık çoğu dizüstü bilgisayarda ve orta katmanlı cep telefonunda bulunabilir ve hizmet platformlarının daha fazla zekayı son kullanıcıya daha yakın kaydırmasına izin verir. Dizüstü bilgisayarlarda, mobil cihazlarda ve endüstriyel IoT sistemlerinde yerel olarak veri işleme yeteneği, SLM’leri düşük gecikmeli uygulamalar, güvenlik duyarlı endüstriler ve sınırlı internet erişimi olan ortamlar için özellikle değerli hale getirir.
CreateFuture’deki Baş Teknoloji Sorumlusu (CTO) Jeff Watkins, SLM’lerin “dizüstü bilgisayarlarda, masaüstü bilgisayarlarda, akıllı telefonlarda ve hatta IoT cihazlarında yerel olarak çalışabileceğini ekliyor. Boyutlar ve yeteneklerde – kompakt cihazlarda çalışanlardan en son MacBook Pro modellerine meydan okumaya başlayanlardan”.
Daha düşük maliyetler, gelişmiş güvenlik ve mevcut donanım üzerinde verimli çalışabilme yeteneği ile SLM’ler, işletmeler için giderek daha stratejik bir seçenek sunmaktadır. Ancak gelişmekte olan herhangi bir teknolojide olduğu gibi, zorluklar devam ediyor. Halüsinasyonlar, önyargılar ve ince ayarlama ihtiyacı, dikkatli bir uygulama gerektirdiği anlamına gelir.
Nasrolahi, “Halüsinasyonlar hala LLM’lere benzer şekilde SLM’ler için bir sorundur. Bununla birlikte, daha uzmanlaşmış modeller bu sorunlara daha az duyarlı olma eğilimindedir” diyor Nasrolahi.
Enerjiyi düşürür, maliyeti düşürürse, o kadar hareketli olur
SLM’lerin Edge cihazlarında benimsenmesi için bir diğer önemli itici güç, daha düşük enerji tüketimi ile çalışma ve bulut bağımlılığını azaltır. UBDS Digital danışmanlığı ve AI danışmanlık direktörü ve AI, “SLM’ler daha az enerji yoğundur, onları daha ucuz, çevre için daha iyi ve genellikle mobil veya PC gibi kenar hesaplamasında yerel olarak çalışacak kadar küçük hale getirir” diyor.
Çevresel ve operasyonel maliyet avantajları, SLM’leri özellikle veri güvenliğini korurken AI karbon ayak izlerini azaltmayı amaçlayan işletmeler için cazip hale getirir. Lehnis, “Modeli internet erişimi olmadan yerel olarak çalıştırmak, veri gizliliği avantajlarına da sahip olabilir, çünkü verileriniz merkezi günlüğü ve izleme için çevrimiçi bir uygulama ile paylaşılmıyor, bu da daha hassas kullanım durumları için uygun hale getiriyor” diye ekliyor.
Yinelenen bir tema. SLM’lerin, daha odaklanmış, uygun maliyetli AI modellerine doğru tek bedene uyan bir LLM’den bir kaymanın uzaklaşmasını sağlayabileceği bu artan farkındalık, işletmelerin Genai kullanımı hakkında düşünme şeklini değiştirmelidir. CIO’ların Genai ile neyin mümkün ve mümkün olmadığını stratejik olarak nasıl düşündüğü açısından, satın alma üzerinde daha geniş bir etkisi olabilir.
Deloitte’s Teknik Trendler 2025 Rapor, işletmelerin artık modelleri daha küçük, daha doğru veri kümelerinde eğitme yeteneği için SLM’leri ve açık kaynak seçeneklerini düşündüğünü göstermektedir. Boyutun her şey olmadığı, ancak doğruluk ve alaka düzeyi, AI dağıtımlarını operasyonel hedeflerle hizalamaktır.
AI benimsemesinin yörüngesi, performansı operasyonel pratiklik ile dengeleyen modeller için artan bir tercihi göstermektedir, ancak daha fazla bilgi işlem, gerçek zamanlı ve stratejik olarak alakalı işlevsellik için artan bir arzu vardır.
İlginç bir şekilde, 2017’de Gartner, bu yıla kadar işletme tarafından oluşturulan verilerin% 75’inin geleneksel merkezi veri merkezlerinin veya bulut dışında oluşturulacağını ve işleneceğini iddia ederek bunun gerçekleşeceğini öngördü. Ve bu, SLMS ve onların rolü hakkında bir şey bilmiyorduk.
Peki, bu SLMS ve Edge Computing Cihazlarının geleceği için ne anlama geliyor? Kuşkusuz, işletmelerin AI’larını terimlerinde gördükleri için değil, aynı zamanda farklılaşmayı mümkün kılmak için önemli bir rol oynayacaklar. Bu, CIO’lar için yeni zorluk olacak – iş performansı üzerinde büyük bir etki yaratmak için Genai’den en iyi şekilde nasıl yararlanılacağı. Bunun için açılar bir dizi talimattan gelebilir – gerçekten organizasyona ve sektöre bağlıdır.
SLM’lerin yükselişi sadece maliyet tasarrufu veya güvenlik ile ilgili değil, AI farklılaşması ile ilgilidir. Domino Veri Laboratuarının saha baş veri bilimcisi Jarrod Vawdrey’in belirttiği gibi, SLM’ler zaten sağlık hizmetlerini, finans ve savunmayı yeniden şekillendiriyor ve AIT’teki AI’nın gecikmeyi azaltmasına, hassas verileri korumasına ve gerçek zamanlı karar almayı geliştirmesine izin veriyor.
“Tıbbi cihazlarda konuşlandırılan SLM’ler, gerçek zamanlı hasta izleme ve teşhis yardımını mümkün kılar,” diyor finansal kurumlar sahtekarlık tespiti ve kara para aklama karşıtı uyum için SLM’lerden yararlanıyor.
CIO’lar için zorluk değişiyor. İş performansı üzerinde önemli bir etki yaratmak için Genai’yi nasıl kullanıyorsunuz? Cevap, AI modellerinin sektöre özgü ihtiyaçlara uyarlanmasında yatmaktadır-SLM’lerin benzersiz bir şekilde konumlandırıldığı bir şey. Önümüzdeki birkaç yıl, işletmelerin jenerik AI modellerinin ötesine geçtiğini görecek ve bunun yerine farklılaşmayı ve rekabet avantajını sağlayan hiper ile ilgili, alanda eğitilmiş AI’ya odaklanıyor. Kenar hesaplamasını ana akıma itecekse, küçük dil modelleri.