Açık kaynak yazılımının ticari ürünlere göre bir takım faydaları vardır, en azından ücretsiz olarak indirilebileceği gerçeği değil. Bu, herkesin kodu analiz edebileceği ve yapılandırılmış doğru donanım ve yazılım ortamına sahip olduklarını varsayarak, açık kaynak kodu hemen kullanmaya başlayabilirler.
Yapay Zeka (AI) ile açık olmak için iki kısım vardır. AI motorunun kendisi için kaynak kodu, bir depodan indirilebilir, tıpkı diğer açık kaynak kodları gibi uygun donanım üzerinde denetlenebilir ve çalıştırılabilir. Ancak açık, veri modeli için de geçerlidir, yani birisinin daha önce eğitilmiş yerel bir AI modelini çalıştırmasının tamamen mümkün olduğu anlamına gelir.
Başka bir deyişle, doğru donanımla, bir geliştirici bir AI modeli indirmek, hedef donanımı internetten ayırabilir ve sorgu verilerinin bulut tabanlı bir AI hizmetine sızma riski olmadan yerel olarak çalıştırın.
Ve açık kaynak olduğu için, AI modeli yerel olarak kurulabilir, böylece genellikle AI motoruna gönderilen jetonlarda ölçülen sorguların hacmine göre yüklenen buluta barındırılan AI modelleri ile ilişkili maliyetlere maruz kalmaz.
Açık bir model ticari AI’dan nasıl farklıdır?
Tüm yazılımların lisanslanması gerekir. Ticari ürünler, abonelik temelinde giderek daha fazla değiştirilir ve büyük dil modelleri (LLM) durumunda, maliyet, LLM’ye gönderilen jetonların hacmine ve saatlerce tüketilen donanımlara göre kullanım miktarı ile ilişkilidir. Model tarafından sorgulandığında kullanılan grafik işleme birimi (GPU) süresi.
Tüm açık kaynaklı yazılımlar gibi, açık kaynaklı bir LLM de kullanılan lisans şemasının hüküm ve koşullarına tabidir. Bu lisanslardan bazıları, yazılımın nasıl kullanıldığına dair kısıtlamalar koyar, ancak genel olarak, yerel olarak açık bir model çalıştırmayla ilgili lisans ücreti yoktur.
Bununla birlikte, açık model genel bulut altyapısında çalıştırılırsa veya bir bulut hizmeti olarak erişilirse, genellikle LLM’ye uygulama programlama arayüzleri (API) kullanılarak programlı olarak gönderilen jetonların hacmine göre hesaplanırsa bir ücret vardır.
Açık kaynaklı AI modellerinin faydaları nelerdir
Ek maliyet olmadan şirket içi indirilip dağıtılabilmelerinin ötesinde, açıklıkları, modelin gelişimini açık kaynak topluluğunun projeleri nasıl geliştirebileceğine benzer şekilde ilerletmeye yardımcı olur.
Tıpkı diğer açık kaynak projeleri gibi, açık kaynaklı bir AI modeli herkes tarafından kontrol edilebilir. Bu, bir modelin eğitildiği kaynak veriler yeterince farklı olmadığında, kalitesini iyileştirmeye ve hataları kaldırmaya ve önyargı ile mücadele etmenin bir yoluna gitmelidir. Aşağıdaki podcast AI modellerini daha fazla araştırıyor.
Açık modellerle nasıl başlanır
AI modellerinin çoğu, insanların doğrudan AI sistemiyle çalışmasını sağlamak için web üzerinden ücretsiz veya düşük maliyetli erişim sunar. API’ler aracılığıyla programlı erişim, genellikle doğal bir dil sorgusundaki kelime sayısı gibi giriş verileri olarak modele gönderilen jetonların hacmine göre yüklenir. Ayrıca, bir sorguya yanıt verdiğinde model tarafından üretilen verilerin bir ölçüsü olan çıktı jetonları için bir ücret olabilir.
Açık kaynak olduğundan, GitHub’daki açık kaynak deposundan (“Repo”) açık bir model indirilebilir. Depo genellikle Linux, Windows ve macOS dağıtımları gibi hedef sistemler için farklı yapılar içerir.
Bununla birlikte, bu yaklaşım geliştiricilerin açık kaynak kodu nasıl kullanma eğiliminde olsa da, çok ilgili bir süreç olabilir ve bir veri bilimcisi, biraz zorlu bir sürecine girmek zorunda kalmadan en son, en büyük modeli “denemek” isteyebilir. Model yukarı ve çalışıyor.
AI modellerini denemek isteyen insanların mevcut olanları araştırabileceği ve bunları tek bir yerden veri kümelerinde test edebilecekleri bir AI platformu olan Hugging Face’e adım atın. Ücretsiz bir sürüm var, ancak Hugging Face aynı zamanda AI model geliştiricileri için modellerini barındırma ve çalıştırma için çeşitli fiyatlandırma ve çeşitli fiyatlandırma sağlar.
https://www.youtube.com/watch?v=jbffuwl0tyy
Başka bir seçenek, LLMS’yi indirmek ve çalıştırmak için nispeten kolay bir yol sağlayan açık kaynaklı, komut satırı aracı Ollama’dır. LLMS ile etkileşim kurmak için tam bir grafik kullanıcı arayüzü için, GitHub’da bulunan açık kaynaklı bir proje olan Open WebUI gibi bir AI platformu çalıştırmak gerekir.
Açık Kaynak AI modelleri kurumsal BT güvenliğini nasıl destekliyor
Siber güvenlik liderleri, çalışanların veri sızıntısı riski sunan popüler LLM’lere erişme kolaylığı konusunda endişeler yaratmışlardır. Yaygın olarak bildirilen sızıntılar arasında Samsung Electronics’in geliştiricilerin hata ayıklama koduna yardımcı olmak için chatgpt kullanımı da bulunmaktadır. Kod – aslında, Samsung Electronics Fikri Mülkiyet – ChatGPT Public LLM’ye yüklendi ve etkili bir şekilde modele girdi.
Teknoloji devi hızla chatgpt kullanımını yasaklamak için adımlar attı, ancak sözde copilotlardaki büyüme ve ajanik AI’nın yükselişi veri sızdırma potansiyeline sahip. Yazılım sağlayıcıları, aracı teknolojisini dağıtma genellikle bir müşterinin özel verilerini tamamen ayrı tuttuğunu iddia edecektir, bu da bu verilerin AI modelini eğitmek için kullanılmadığı anlamına gelir. Ancak gerçekten en son düşünce, kısayollar, en iyi uygulamalar ve hatalarla eğitilmedikçe, model hızla bayat ve güncel kalacaktır.
Açık olan bir AI modeli, şirket içi veya güvenli bir genel bulutta barındırılan güvenli bir sanal alanda çalıştırılabilir. Ancak bu model, geliştiricinin yayınladığı AI modelinin bir anlık görüntüsünü temsil ediyor ve kurumsal yazılımdaki AI’ya benzer şekilde, hızla güncel olacak ve alakasız hale gelecektir.
Bununla birlikte, ne olursa olsun, bu bilgiyi kullanarak modeli yeniden eğitmek için gereken kaynakları yatırmak isteyen kuruluşların sınırları dahilinde kalır. Aslında, AI modeline işletmenin nasıl çalıştığının özelliklerini öğretmek için yeni kurumsal içerik ve yapılandırılmış veriler kullanılabilir.
Hangi donanıma ihtiyacın var
Çin Deepseek-R1 modeli gibi bir LLM’nin uygun bir adaptör ve nispeten modern bir GPU kartı kullanarak bir NVIDIA Jetson Nano gömülü kenar cihazında veya hatta bir Raspberry Pi üzerinde çalışabileceğini gösteren YouTube videoları var. GPU’nun desteklendiğini varsayarsak, bol miktarda video belleğine (VRAM) ihtiyaç duyar. Bunun nedeni, en iyi performans için LLM’nin GPU’da bellekte çalışması gerektiğidir.
Çıkarım daha az bellek ve daha az GPU çekirdeği gerektirir, ancak ne kadar çok işleme gücü ve VRAM mevcut olursa, jetonların bir ölçüsü olarak saniyede işleyebilecek model o kadar hızlı yanıt verebilir. Eğitim LLM’leri için, GPU çekirdeklerinin ve VRAM gereksinimlerinin sayısı önemli ölçüde artıyor, bu da son derece maliyetli şirket içi AI sunucularına eşittir. GPU’lar kamu bulutunda ölçülü kullanım ile çalıştırılsa bile, çıkarım iş yüklerini sürekli olarak çalıştırmak için gereken yüksek maliyetlerden uzaklaşmak yoktur.
Bununla birlikte, hiperscalers’tan sunulan hesaplama gücünün saf kapasitesi, genel bir bulutta barındırılan açık bir LLM modeline eğitim verilerini yüklemenin uygun maliyetli olabileceği anlamına gelir.
Açık kaynaklı AI modellerini çalıştırmak için nasıl daha uygun hale getirilir
Adından da anlaşılacağı gibi, büyük bir dil modeli büyüktür. LLM’ler eğitim için büyük veri kümeleri ve eğitim için güçlü sunucuların muazzam çiftlikleri gerektirir. Bir AI modeli açık kaynak olsa bile, donanımın saf maliyeti, yalnızca halka açık bulutta donanım veya rezerv GPU kapasitesine önceden yatırım yapmaya hazır olan kuruluşların LLM’leri tam olarak işlevselleştirme araçlarına sahip olduğu anlamına gelir.
Ancak herkesin bir LLM’ye ihtiyacı yoktur ve bu yüzden çok daha ucuz donanım üzerinde çalışabilecek modellere çok fazla ilgi vardır. Bu küçük dil modelleri (SLM) daha az hesaplama yoğundur ve bazıları Edge cihazlarında, akıllı telefonlarda ve kişisel bilgisayarlarda bile çalışacaktır (bkz. Kutu).