Büyük dil modelleri (LLM’ler) ve üretken yapay zeka (GenAI) kurumsal yazılımlara giderek daha fazla dahil edildiğinden, bir geliştiricinin nasıl başlayabileceği açısından giriş engelleri neredeyse ortadan kalktı.
Ticari kullanıcı üretkenliğini hedefleyen çeşitli Microsoft Copilot teklifleri gibi çok sayıda kullanıma hazır ürün bulunmaktadır. Yazılım geliştiricileri için Microsoft ayrıca, geliştiricilerin kodu daha hızlı yazmasına yardımcı olmak amacıyla otomatik tamamlama ve istemler sunarak kodlamayı hızlandırmak için tasarlanmış Github Copilot’a da sahiptir.
Uygulama programlama arayüzleri (API’ler) aracılığıyla ChatGPT gibi genel bulut tabanlı hizmetlere erişim, geliştiricilerin güçlü yapay zeka sohbet robotlarını kendi uygulamalarına dahil etmelerine olanak tanır. Kuruluşları, Salesforce, Workday, Oracle veya SAP ürünleri gibi modern kurumsal yazılımların müşterisi olan geliştiriciler, aynı zamanda LLM’ler tarafından desteklenen kurumsal yapay zeka yeteneklerine de erişebilecek.
Tek uyarı veri gizliliği ve fikri mülkiyet korumasıdır. Bir geliştirici, genel bulutta mevcut olan araçları kolayca denemeye başlayabilirken, etkili eğitim, yüksek kaliteli, alana özgü veriler gerektirir.
Kurumsal veri ambarlarında bu tür veri kümeleri mevcuttur, ancak veri sızıntısını önlemek için, geliştiriciye bu tür verileri kamuya açıklama yetkisi verilmediği sürece hiçbir kurumsal veri, halka açık bir LLM’ye asla aktarılmamalıdır.
Geliştiriciler aynı zamanda kişisel olarak tanımlanabilir bilgileri Yüksek Lisans’larda kullanmak konusunda da dikkatli olmalıdır; çünkü bu tür verileri eğitim için bir Yüksek Lisans’a taşımak veri gizliliği düzenlemelerini ihlal edebilir. En iyi tavsiye, eğitim ve test için gereken verilerin kurumsal veri politikalarıyla uyumlu olmasını sağlamaktır.
Bu nedenle kendi özel yüksek lisanslarını kuran kuruluşlara büyük ilgi var. Uygulamada bu tür sistemler, halka açık LLM’lerden toplanabilecek büyük miktarda bilgiyi kurumsal BT sistemlerinde ticari açıdan hassas ve özel veri yardımı ile birleştirebildikleri takdirde en iyi şekilde çalışırlar.
Yüksek Lisans’a nasıl başlanır?
Geliştiricilerin yapay zeka destekli uygulamalar oluşturmaya başlamak için kullanabilecekleri, erişimi kolay API’lere sahip bir dizi Yüksek Lisans Programı vardır. Geliştiricilerin açık bir LLM mi yoksa özel bir LLM mi kullanacağına karar vermesi gerekir.
Tescilli API ile erişilebilen modeller genellikle kullanıma göre lisanslanır ve geliştirici, kullanım gereksinimlerine göre bir aboneliğe kaydolur. Kullanım, LLM tarafından gönderilen veya alınan metnin hacmine bağlı olarak endüstrinin “token” olarak adlandırdığı şekilde ölçülür ve fiyatlandırılır. Bu, kapsamlı bir şekilde kullanılmaları durumunda maliyetlerin hızlı bir şekilde artabileceği anlamına geliyor; ancak Sonatype saha baş teknoloji sorumlusu (CTO) İlkka Turunen’e göre, bu taleplere ilişkin hesaplamalar her zaman basit olmuyor ve yükün ayrıntılı bir şekilde anlaşılması gerekiyor.
Açık modeller genellikle uzun vadede tescilli LLM’lerden çok daha ucuzdur çünkü hiçbir lisans ücreti söz konusu değildir. Ancak açık kaynak modellerini inceleyen geliştiricilerin, bunların eğitim ve genel bulutlarda çalıştırılması veya yapay zeka iş yükleri için optimize edilmiş şirket içi veri merkezi sunucularının kullanılmasıyla ilgili maliyetleri de hesaba katması gerekiyor.
Açık modeller arasında Meta’dan LLaMA2, Google’dan Bert ve Abu Dabi’deki Teknoloji İnovasyon Enstitüsü’nden Falcon-40B yer alıyor. Çok sayıda açık model mevcuttur ve geliştiricilerin bunların yararları ve dezavantajları hakkında biraz daha fazla bilgi edinmelerine yardımcı olmak için Hugging Spaces, üretken dil modellerini test etmek için Eleuther AI Dil Modeli Değerlendirme Harness’ın birleşik çerçevesini kullanan açık kaynaklı LLM’lerden oluşan bir lider tablosu oluşturdu. .
LLM eğitimi için hangi donanıma ihtiyaç vardır?
Yüksek Lisans’lar önemli bilgi işlem kaynakları gerektirir. Örneğin, 2023 yılında Juniper Networks teknoloji uzmanı ve kıdemli mühendislik direktörü Sharada Yeluri, LinkedIn’de 2048 Nvidia A100 grafik işlem birimi (GPU) ile LLaMA2’yi 32.000 kelimelik bir kelime dağarcığıyla eğitmenin 21 gün süreceğini gösteren bir makale yayınladı. .
Önde gelen PC sunucu şirketlerinin tümü, yapay zeka iş yükleri için optimize edilmiş sunucular sunuyor. Bu sunucular, ölçeklenebilir performans sunmak için GPU’ları verimli bir şekilde birbirine bağlayan hızlı ara bağlantılara sahip kümeler olarak önceden yapılandırılmıştır.
Verimlilik açısından diğerlerine göre daha iyi donanım kullanımına sahip olacak bazı LLM’ler açıkça var. Hugging Spaces sıralama tablosu, geliştiricilerin farklı LLM’lerin BT kaynak gereksinimlerini araştırırken gidebilecekleri yerlerden biridir. Github’da açık işbirliği de dahil olmak üzere başkaları da var.
Daha az veriyle eğitilen ve sonuç olarak çok daha az hesaplama gücü gerektiren daha küçük modelleri çalıştırmak da tamamen mümkün. Bunlardan bazıları, AI çipleriyle yapılandırılmış, oldukça yüksek performanslı bir dizüstü veya masaüstü bilgisayarda çalışacak şekilde yapılabilir.
Kaçınılması gereken yaygın tuzaklar
Yapay zeka sistemleri deterministik olma eğilimindedir; bu da karar verme amaçlı yapay zeka sistemlerinin nasıl tasarlandığı ve test edildiği üzerinde etkileri vardır. Eğitimde kullanılan veriler tam değilse, yapay zeka sistemi gerçek dünya verileriyle sunulduğunda bu durum önyargılara ve hatalı varsayımlara yol açacaktır. Geliştiricilerin, en iyi sonuçları elde etmek için veri modellerinde ince ayar yapmaları ve bunları hiper parametre ayarlama ve nüanslar gibi tekniklerle ayarlamaları gerekir.
Yüksek Lisans’lar yüksek kaliteli eğitim verilerine dayanır. Verilerin eksik, tutarsız veya belirli demografik özelliklerin eksik olması, verdikleri yanıtlarda kusurlara veya önyargılara neden olabilir.
LLM’lerin bazen kafası karışabilir. Bu olaya halüsinasyon denir.
LLMS’yi iş zekasıyla kullanma
Halka açık Yüksek Lisans’lar büyük miktarda kamuya açık veriler üzerinde eğitilse de, bir işletmenin iç işleyişine erişimleri yoktur. Kamuya açık verilere dayanan bir çıkarım motorunun, bir kuruluşun sınırları içindeki belirli bir alana ve iş süreçlerini güçlendiren bilgi akışlarına ilişkin nüansları gözden kaçırması muhtemeldir.
Karar verme sistemlerinde kullanıldığında, geliştiricinin açıklanabilirlik sorununu da dikkate alması gerekir, çünkü tescilli LLM’ler kara kutulara benzer, bu da çıkarım motorunun bir girdi sorusuna nasıl yanıtlar ürettiğini çözmeyi zorlaştırır.
Veri sızıntısını önlemek için birçok BT lideri, halka açık Yüksek Lisans’ların kullanımını yasaklıyor veya sınırlandırıyor. Kamuya açık veriler çıkarım uygulamalarında kullanılabilir, ancak LLM’den elde edilen çıktıların kurumsal BT sistemlerinde bulunan şirkete özel bilgilerle birleştirilmesi gerekir.
Verilerin tutarlılığını ve bütünlüğünü sağlamak ve veri sızıntısını önlemek için korkuluklara sahip sağlam bir bilgi yönetimi stratejisi çok önemlidir. Başlamak için bir yer, ticari kullanıma hazır kurumsal uygulamalarda depolanan verilerdir. Bu yazılım paketlerinin birçoğu Yüksek Lisans’ı içermektedir.
Örneğin Oracle, müşterilerine, halka açık LLM’lerde “ince ayar yapmak” için kendi özel verilerini kullanmaları ve söz konusu kuruluşa özel sonuçlar sunmaları için bir yol sunuyor. Şirket yakın zamanda Oracle Bulut Altyapısı için GenAI aracılarını tanıttı. Oracle’ın GenAI hizmetlerinden sorumlu başkan yardımcısı ve genel müdürü Vinod Mamtani şunları söyledi: “Müşterilerimizin, AI hizmetlerine erişmek için verilerini veri deposunun dışına taşımasını talep etmiyoruz. Bunun yerine yapay zeka teknolojisini müşterilerimizin verilerinin bulunduğu yere getiriyoruz.”
Rakip SAP ayrıca Yüksek Lisans’ları kurumsal veri kaynaklarına bağlıyor. SAP Hana Cloud çok modlu veritabanı, kuruluşların sorguları yanıtlamak için LLM’lerin yeteneklerini kurumsal verilerle birleştirmesine olanak tanıyan bir vektör veritabanı motoru içerir.
SAP CTO’su Juergen Mueller şunları söyledi: “Büyük dil modelleri zeka kıvılcımları yaratır, ancak aynı zamanda ciddi sınırlamalara da sahiptirler. Geçtiğimiz bir veya iki yılda ne olduğu hakkında hiçbir fikirleri yok ve herhangi bir iş verisine erişimleri yok, dolayısıyla bunları üretimde dağıtmak zor.”
Yüksek Lisans ile geliştirme için iş gerekçesi oluşturma
Analist Forrester’a göre, yüksek lisans kullanmanın bir fırsatı, dış denetim ücretlerini azaltmak için finans ve muhasebe gibi operasyonel verimliliği artırmaktır. Her finans müdürü, dış denetçinin faturalandırılabilir saatlerini azaltmak ister. Yüksek Lisans’lar denetçi sorularını yanıtlayabilir ve bilgi toplamak için gereken saatleri ve dahili personeli azaltabilir.
Denetçiler aynı zamanda yüksek lisans eğitimlerini daha verimli çalışmalarına yardımcı olmak için kullanmanın bir yolunu da görüyorlar. Örneğin PwC, çapraz referans veren bir vergi yapay zeka asistanı aracı geliştirdi ve İngiltere merkezli kendi fikri mülkiyetiyle birlikte içtihat, mevzuat ve diğer temel kaynaklar konusunda eğitim aldı.
PwC’ye göre veriler, vergi kurallarındaki değişiklikleri ve güncellemeleri yansıtacak şekilde düzenli olarak yenileniyor. Modelin, kamuya açık LLM’lerle karşılaştırıldığında vergi alanında önemli ölçüde daha yüksek kalite ve doğruluk ürettiğini ve temel verilere referanslar sağlayarak vergi uzmanları tarafından şeffaf ve doğru doğrulamaya olanak sağladığını iddia ediyor.