Model damıtma, Gartner’ın 2025 yapay zeka döngüsünde (AI) “aydınlanmanın eğimi” olarak tanımlanan bir olgunluk seviyesine ulaşan teknoloji trendlerinden biridir.
Bununla birlikte, Çin’in Deepseek ile yılın başında son zamanlarda günün başında, Openai’den rakip modelleri şekillendiren büyük bir dil modelini (LLM) eğitmek için nasıl kullanılabileceğini gösteren, Gartner’ın üst düzey yöneticisi olan Haritha Khandabattu, “Aslında 2017’de model distilasyonunu araştırıyordum.”
Aslında, teknik 2006 Cornell Üniversitesi’ne dayanmaktadır Model sıkıştırma Cristian Bucilă, Rich Caruana ve Alexandru Niculescu-Mizil tarafından kağıt. Dokuz yıl sonra, 2015 yılında Cornell Üniversitesi Bir sinir ağında bilgiyi damıtmak Geoffery Hinton, Oriol Vinyals ve Jeff Dean’in kağıdı, AI modellerinin performansını iyileştirmek için bir tekniği tanımlamak için damıtma terimini kullandılar.
Gartner tarafından yeni bir teknolojik gelişme olarak kabul edilmemesine rağmen, Khandabattu şunları söyledi: “Model damıtma yeniden vurgulandı. Vakıf modelleri aç ve çalıştırılması son derece pahalı ve işletmeler performansın% 80’ini maliyetin% 10’unda nasıl elde edebileceklerini sormaya başladı.”
Deepseek, son altı ila 12 ay boyunca fiyatlandırma için aşağı yönlü bir fiyatlandırma eğilimine yol açtığını söyledi. Ancak Khandabattu, bu fiyat değişikliklerine uyum sağlamak yerine, CIO’ların “kullanım durumlarını planlamasını ve eğitim ve çıkarım maliyetlerinin azalmaya devam edeceği beklentisiyle öncelik vermesini” önerdi.
Khandabattu, büyük AI teknoloji sağlayıcılarının bile daha fazla konuşlandırılabilir, daha ayarlanabilir ve daha yönetilebilir AI sağlamak için model damıtma işleminin yararlılığını tanıdığını söyledi: “Model damıtma nihayet ticari çekiş kazanıyor.”
Model damıtmayı inovasyon ve ölçeklenebilirlik arasında bir köprü olarak tanımlar: “Model damıtma hem teknik liyakat hem de erişimin kilidini açar. Daha düşük çıkarım maliyeti sunar ve BT altyapı masrafları da biraz daha düşüktür, bu da model damıtmayı belirli AI dağıtımları için maliyet etkinleştirir.”
Ancak Khandabattu, liderlerin çıkarım iş yüklerini çalıştırmak için gereken BT altyapısının ötesinde dikkate almaları gereken başka maliyetler olduğunu da belirtti. “CIO’ların son derece dikkatli olması ve Genai’yi dağıtmanın toplam maliyetinin farkında olması gerekir [generative AI] Uygulamalar modellerin maliyeti ile sınırlı değildir. ”
Yapay zeka sistemini kurumsal BT ile entegre etmekle ilişkili mühendislik maliyetleri ve maliyetleri var, “Bir AI modelinin ince ayarlanması çok paraya mal olur. Model sağlayıcı modeli değiştirmeye karar verirse, eski model üzerinde inşa ettiğiniz tüm şeyleri daha yeni olana değiştirmeniz gerekir, bu çok pahalıdır.”
Model damıtmanın ötesinde, “Bu yıl yapay zeka yatırımı güçlü kaldığında, operasyonel ölçeklenebilirlik ve gerçek zamanlı zeka için yapay zeka kullanımı üzerinde daha keskin bir vurgu yapılıyor.”
Gartner’a göre, bu, merkezi bir odak noktası olarak üretken AI’dan kademeli bir pivota, AI’ye hazır veriler ve AI ajanları gibi sürdürülebilir AI teslimatını destekleyen temel sağlayıcılara doğru yol açtı.
Khandabattu, “AI’nın muazzam potansiyel iş değerine rağmen, kendiliğinden gerçekleşmeyecek” dedi. “Başarı, sıkı iş uyumlu pilotlara, proaktif altyapı kıyaslama ve yapay zeka ile iş ekipleri arasında somut iş değeri yaratmak için koordinasyona bağlı olacak.”
Gartner’ın önümüzdeki beş yıl içinde ana akım benimsemeye ulaşılacağı AI yenilikleri arasında multimodal AI ve AI Trust, Risk ve Güvenlik Yönetimi (TRISM) var.
Multimodal AI modelleri, görüntüler, video, ses ve metin gibi aynı anda birden fazla veri türü ile eğitilmiştir. TRISM, tüm AI kullanım durumları için kurumsal politikaları destekleyen teknik yetenek katmanlarına odaklanmıştır ve AI yönetişimi, güvenilirlik, adalet, güvenlik, güvenilirlik, güvenlik, gizlilik ve veri koruması sağlanmaya yardımcı olur. Gartner, bu gelişmelerin birlikte daha sağlam, yenilikçi ve sorumlu AI uygulamaları sağlayacağını ve işletmelerin ve kuruluşların nasıl işlediğini dönüştüreceğini tahmin etti.
Gartner ayrıca AI ajanlarının ana akım haline gelmekten en az iki ila beş yıl uzakta olmasını bekliyor.
Khandabattu, “Yapay zeka ajanlarının faydalarından yararlanmak için kuruluşların en alakalı iş bağlamlarını belirlemeleri ve kullanma durumları, hiçbir AI ajanı aynı olmadığı ve her durum farklı olduğu göz önüne alındığında zorlayıcıdır” dedi. “AI ajanları daha güçlü olmaya devam edecek olsa da, her durumda kullanılamazlar, bu nedenle kullanım büyük ölçüde eldeki durumun gereksinimlerine bağlı olacaktır.”