Kurumsal yapay zekada küçük dil modellerinin rolü

Bilgi damıtma

Büyük bir dil modelinin küçük bir dil modelinden birkaç kat daha büyük olması – AI çıkarımı için kullandıkları bir veri modeli oluşturmak için eğitim sırasında kullanılan parametreler açısından – SLM’lerin yalnızca bir veri alt kümesinde eğitildiğini ima eder. Bu, bilgisinde delikler olabileceğini düşündürmektedir, bu nedenle bazen belirli bir sorguya en iyi cevabı sağlayamayacaklardır.

Damıtılmış SLM’ler, LLMS hesaplamasının bir kısmını kullanırken yanıt kalitesini ve muhakemesini geliştirin

Bir kurumsal AI platformu sağlayıcısı Domino Data Lab’ın saha genel veri bilimcisi Jarrod Vawdrey, SLMS’nin LLMS ile bir tür bilgi transferinden faydalanabileceğini belirtiyor. Bilgi damıtma olarak bilinen teknik (Aşağıdaki kutuya bakın), LLM’lerden SLMS’ye etkin aktarım sağlar.

“Bu bilgi aktarımı, milyar parametreli modellerin hesaplama yükü olmadan ileri dil yeteneklerini demokratikleştirmeye yönelik en umut verici yaklaşımlardan birini temsil ediyor” diyor. “Damıtılmış SLM’ler, LLMS hesaplamasının bir kısmını kullanırken yanıt kalitesini ve akıl yürütmeyi geliştiriyor.”

Vawdrey, LLMS’den SLMS’ye bilgi damıtma işleminin iki temel bileşenle başladığını söylüyor: “öğretmen” olarak hizmet veren önceden eğitilmiş bir LLM ve SLM “öğrenci” olacak daha küçük bir mimari. Daha küçük mimari tipik olarak ya rastgele veya temel ön eğitim ile başlatılır.

SLM’leri Artırma

Ne bir LLM ne de SLM tek başına bir kuruluşun ihtiyaç duyduğu her şeyi teslim edemez. Kurumsal kullanıcılar genellikle kurumsal BT sistemlerinde tutulan verileri bir AI modeliyle birleştirmek isteyecektir.

Grafik veritabanı sağlayıcısı Memgraph CEO’su Dominik Tomicevic’e göre, bağlam tüm model tartışmasının merkezinde yer alıyor. “Çok genel, ödev düzeyinde problemler için, bir LLM iyi çalışıyor, ancak gerçekten yararlı olmak için dil tabanlı bir AI’ya ihtiyaç duyduğunuz anda, bir SLM ile gitmelisiniz” diyor.

Örneğin, bir şirketin boyayı karıştırma şekli, Nesnelerin İnterneti (IoT) ağları oluşturma veya teslimat programları benzersizdir. “Yapay zekanın 1930’da Dünya Kupası’nı kimin kazandığını hatırlamasına gerek yok” diye ekliyor. “Kurumsal alanınızdaki belirli bir sorunu optimize etmenize yardımcı olmak için buna ihtiyacınız var.”

TomiceVic’in belirttiği gibi, bir SLM, bir e-ticaret sistemindeki siparişlerle ilgili sorguları tespit etmek ve tedarik zinciri içinde o alan hakkında derin bilgi edinmek için eğitilebilir-bu da ilgili soruları cevaplamada çok daha iyi hale getirir. Başka bir fayda, orta ölçekli ve daha küçük operasyonlar için, bir SLM’nin eğitimin-GPU ve gücün maliyeti göz önüne alındığında-bir LLM eğitimi almaktan önemli ölçüde daha ucuz olmasıdır.

Bununla birlikte, TomiceVic’e göre, tedarik zinciri verilerini odaklanmış küçük bir dil modeline almak teknik olarak önemli bir engeldir. “Hem LLM’lerin hem de SLMS’nin paylaştığı temel mimari – transformatör – gelişene kadar, bir dil modelini güncellemek zor olmaya devam ediyor” diyor. “Bu modeller, tüm verileri aynı anda emerek ve daha sonra sadece bildiklerini düşündükleri gibi akıl yürütmeyi tercih ediyor.”

Bu, bir SLM’yi güncellemek veya taze tutmak anlamına gelir, iş için ne kadar iyi odaklanmış olursa olsun, bir meydan okuma olmaya devam etmektedir. “Bağlam penceresinin hala ilgili bilgilerle beslenmesi gerekiyor” diye ekliyor.

TomiceVic için burası ek bir unsur devreye giriyor-kuruluşlar, bir bilgi grafiğinin, sürekli öğretmen ve tercüman olarak hareket eden bir alan adı tarafından eğitilmiş SLM’nin yanında oturmak için en iyi veri modeli olduğunu buluyorlar.

Grafik teknolojisi ile güçlendirilen geri alma artırılmış üretim (RAG) yapılandırılmış ve yapılandırılmamış verileri köprü oluşturabilir. TomiceVic, bunun AI sistemlerinin en alakalı bilgileri daha düşük maliyetler ve daha yüksek doğrulukla almasına izin verdiğini söylüyor. “Aynı zamanda, güncel bir veritabanından dinamik olarak veri getirerek, statik depolama alanı ortadan kaldırarak ve yanıtların her zaman en son bilgiler tarafından bilgilendirilmesini sağlayarak akıl yürütmeyi geliştiriyor” diyor.

Enterprise bilgi yönetim platformu sağlayıcısı Pryon CEO’su Chris Mahl’e göre, SLMS’nin kaynak verimliliği standart donanım üzerinde çalışmalarını sağlarken özel istihbarat tam olarak ihtiyaç duyulduğu yerde sunmalarını sağlar.

“Bu, kuruluşların AI’yi nasıl kullandığını, daha önce coğrafi ve altyapı engelleri arasında gelişmiş bilgi işlem ve demokratikleştirme için pratik olmayan ortamlara güçlü yetenekler getiriyor” diyor.

Mahl’e göre, RAG, küçük dil modellerine kesin, alakalı bağlam sağlamak için gürültüyü kesen bir boru hattı sağlar.

Hataları ve halüsinasyonları azaltma

LLM’ler inanılmaz derecede güçlü olarak kabul edilirken, halüsinasyonlar olarak bilinen hatalardan muzdariptir, böylece etkili bir şekilde işler yaparlar.

Healthcare AI, iş otomasyonu ve teknoloji çözümleri sağlayıcısı olan Digital Workforce’da veri bilimcisi liderlik eden Rami Luisto, SLMS’nin iç çalışmalarına ve çıktılarına daha yüksek bir şeffaflık sağladığını söylüyor. “Açıklanabilirlik ve güven çok önemli olduğunda, bir SLM’yi denemek, bir LLM’nin davranışının nedenlerini çıkarmaya çalışmaya kıyasla çok daha basit olabilir” diyor.

Ajan yapay zeka konusunda çok fazla endüstri yutturmaca olsa da, karmaşık iş akışını otomatikleştirmek için AI ajanlarının kullanılmasının en önemli engeli, bu sistemlerin hatalara eğilimli olması ve yanlış kararların otomatik olmasına yol açmasıdır. Bu yanlışlık zaman içinde iyileşecektir, ancak Ajanik AI sistemleri tarafından getirilen potansiyel hatalara toleransla kurumsal uygulamaların geliştirildiğine dair çok az kanıt vardır.

Yakın tarihli bir bilgisayar haftalık podcast’inde, Gartner’ın yönetmen analisti Anushree Verma, alana özgü dil modellerine ve ince ayarlanabilen daha hafif modellere doğru bir kayma olduğunu belirtti. Zamanla, bu daha küçük AI modellerinin, doğruluğu artırmaya yardımcı olabilecek daha genel ajanik AI sistemlerini tamamlamak için uzmanlar gibi çalışması muhtemeldir.

Analoji, belirli bir alanda uzman olmayan bir uzman olmayan, bir uzmana tavsiye için, biraz TV oyun şovunda “Telefon A Friend” Lifeline’a benziyor gibidir. Kim milyoner olmak ister?

DeepMind CEO’su Demis Hassabis, birden fazla AI ajanının bir hedef sunmak için faaliyetleri koordine ettiği bir dünya öngörüyor. Bu nedenle, bir SLM, RAG gibi teknikler ve belirli bir alan için optimize edilme yeteneği sayesinde bir LLM’den bilgi damıtma yoluyla aktarılmış olsa da, SLM sonunda daha genel bir LLM’nin alana özgü bir soruyu cevaplamasına yardımcı olacak bir uzman olarak adlandırılabilir.