Yapay zeka (AI) iş yükleri, daha önce kurumlarda gördüğümüz iş yüklerinden oldukça farklıdır. Ve AI çalışmasının farklı aşamalarında, giriş/çıkış (G/Ç) profili ve depolama üzerindeki etkiler önemli ölçüde değişebilir.
Yoğun bir eğitimden sonra, AI’yı öğrendiklerinden çıkarım yaparak işe koyduk. Ayrıca, kullanılan AI çerçevelerini ve özelliklerini, ayrıca geri alma-artırılmış üretim (RAG) referanslama ve kontrol noktası depolama taleplerini de hesaba katmalıyız.
Las Vegas’ta düzenlenen Pure Storage Accelerate etkinliğinde Nvidia’nın başkan yardımcısı ve DGX Systems genel müdürü Charlie Boyle ile bir araya geldiğimizde tüm bunları sorduk.
Boyle, iki bölümlük serinin ilk bölümünde, yapay zeka projelerine başlayan müşteriler için temel veri zorluklarından, yapay zeka ile yeni başlayan müşteriler için pratik ipuçlarından ve eğitim, ince ayar, çıkarım, RAG ve kontrol noktası oluşturma gibi yapay zeka iş yükü türleri arasındaki farklardan bahsediyor.
Müşteriler açısından yapay zekaya yönelik veriler açısından en büyük zorluk nedir?
En büyük zorluk, hangi verinin yapay zekanız için iyi, hangi verinin kötü ve hangilerinin önemsiz olduğunu bilmektir.
İyi veriler daha iyi içgörüler ve daha doğru sonuçlar sağlayacaktır. Açıkçası, ister bir sohbet robotu ister başka bir şey yapın, bu veriler son kullanıcıya doğru cevabı sağlayacaktır. Kötü veri olarak düşündüğüm şey, cevabı bulandırabilecek ve değer katmayan verilerdir.
Bu eski bir veri olabilir. Bir müşteri hizmetleri sohbet robotu yapıyorsam ve bu 15 yıl öncesinden bir destek biletiyse, bu yararlı olur mu? Belki yararlıdır, belki de değildir. Siz, kendi işletmenizde, kendi alanınızda, bu ayrımı yapmalısınız.
Eğer 15 yıl önce sorulmuş bir helpdesk sorusuysa, telefon hattınız modeminize bağlı mı diye sorabilir. Artık sizin için geçerli değil.
Ancak bir fabrikada altyapıya sahip bir üretim bağlamında, bu sermaye varlıklarının bir kısmı 20, 30 yıldır kullanımda olabilir. Bu nedenle, 15 yıl önce meydana gelen bir sorun için o tek destek bileti, o üretim ürününde yalnızca on yılda bir gerçekleşir, sizin için çok faydalı olabilir.
Yani kurumsal AI’nın büyük bir kısmı sahip olduğunuz verileri anlamaktır. AI ile başlamaktan bahsettiğimizde, her zaman güvenli olduğunu düşündüğünüz verilerle başlamak daha kolaydır.
Bir sohbet robotu yapacaksam ve eğitim veri setim son 24 ayın BT sorun biletleri olacaksa, bu muhtemelen çok güvenlidir. Bu dahili bir şeydir. Uzmanlar tarafından düzenlenmiştir çünkü BT çalışanları sorunu ele almış ve notlar yazmıştır. Ya da incelenmiş kurumsal verilerdir, basın bültenlerimden, SEC dosyalarımdan, örneğin yasal olarak doğru olması gerektiğini bildiğim şeylerdir.
Veya işte web sitesindeki tüm herkese açık pazarlama verilerimden, veri sayfaları ve ürün bilgileri gibi bilgiler. Bir insan bunlara baktı ve doğru yazdıklarını düşündü. Yani başlamak kolay.
Ama sonra bir işletme olarak, 20 yıllık veriye sahip olduğumu düşünüyorsunuz. Tüm bunlarla ne yapmalıyım? İçgörüler yaratabilir miyim? Ve bu, o ilk AI zaferi için ihtiyacınız olan şey. İnsanlara bunun yararlı olduğunu göstermelisiniz. Ve sonra adım adım, kullanıcılarım için bir sonraki en yararlı şeyin ne olacağını inceleyin. Bu kullanıcılar dahili veya harici kullanıcılar olabilir.
Bir hipotez yaratın. Mevcut modelleri ince ayarlayarak AI eğitimi yapmak yeterince kolaydır. Artık GPT-3 veya GPT-4 gibi temel bir model oluşturmak için altı ay beklemenize gerek yok.
Llama gibi hazır bir model kullanabilir, bunu alanınız için ince ayarlayabilir ve bunu birkaç haftada yapabilirsiniz. Ya da model boyutuna ve hesaplama altyapınıza bağlı olarak bir günde.
Adshead: Yapay zekayı kullanmak isteyen müşterilere verebileceğiniz en önemli ipuçları nelerdir?
İlk şey, sadece verilerinizi eklemeniz gereken bir ton hazır AI uygulaması olması. Nvidia sitesinde büyük bir kataloğumuz var. Hugging Face gibi siteler var, bu tür şeyler, kullanıcılar sadece modelleri kullanmakla kalmıyor, aynı zamanda bunlar hakkında yorum da yapıyor.
En sık gördüğümüz şey chatbot’lardır. En gelişmiş AI kullanıcılarım, bu konuda doktora yapmış kişiler bile, onlarla konuştuğumda, “Beyler, chatbot’u kodlamanıza gerek yok.” diyorlar. Tüm chatbot örnekleri dünyada mevcut.
Chatbot’u kodlamanıza gerek yok. Tüm chatbot örnekleri dünyada mevcut. Başlamak için birini seçin. Kendi ihtiyaçlarınıza göre özelleştirin. AI’da başlamak için doktora derecesine ihtiyacınız yok
Charlie Boyle, Nvidia
Başlamak için birini seçin. Kendi ihtiyaçlarınıza göre özelleştirin. Yapay zekaya başlamak için doktora derecesine ihtiyacınız yok.
Bu yüzden hazır bir model seçin. Birçok yerde, kendi sitemiz de dahil olmak üzere, hazır modeli tamamen çevrimiçi olarak deneyebilirsiniz. Hiçbir verinizi buna koymanıza gerek yok.
Yani şunu diyebilirsiniz, örneğin, bu tür bir model benim için ne işe yarar? Bununla hangi tür soruları cevaplayabilirim? Bunun işiniz için yararlı olup olmadığına, iyi bir BT sohbet robotu mu yoksa iyi bir müşteri hizmetleri araması mı olacağına karar verebilirsiniz.
Eğer büyük bir web siteniz veya ürün dokümantasyon kütüphaneniz varsa, bir chatbot’u karşınıza koymak kolay ve güvenli bir şeydir.
Bir BT kullanıcısı olarak, bir kurumsal kullanıcı olarak, modeli ortaya çıkarmak için bir chatbot uzmanı olmanıza gerek yok. Modeller mevcuttur. Tek yapmanız gereken, ona kendi verilerinizi beslemenizdir. İşe yaradığını düşündüğünüz bir model seçin ve içine kendi verilerinizi koyun.
Ama içine kamuya açık verileri koyun, çünkü orada herhangi bir uyumluluk riskiniz yok. Yani, oops, şirketin gizli bilgilerini sızdırdım gibi bir şey değil. Eğer bunu kamuya açık bilgilerin bulunduğu bir web sitesinde eğitirsem, o zaman güvende olursunuz.
Ve bu birkaç deneyi geçtikten sonra, işinizde belirli bir sorunu çözebilecek ve bir ay veya üç aylık proje çabası harcamaya istekli olduğunuz bir örnek olup olmadığını görmek için bazı model kataloglarına bakın.
Eğitim, ince ayar eğitimi, çıkarım, RAG ile çalışma, AI’da kullanılan farklı çerçeveler arasındaki G/Ç profili açısından farklılıklar nelerdir? Kontrol noktası oluşturmanın talepleri nelerdir? Ve depolamadan ne talep ederler?
Sıfırdan eğittiğiniz büyük bir modelse çok hızlı depolamaya ihtiyacınız var çünkü AI eğitiminin çalışma şeklinin çoğu, her şeyin paralel olarak yapıldığı için hepsinin aynı anda aynı dosyaya ulaşmasıdır. Bu çok hızlı depolama, çok hızlı geri alma gerektirir. Çoğunlukla okuma odaklıdır.
Kontrol noktasıyla, eğitim veri kümesine orantılı bir oran olduğu için çok fazla G/Ç yoğunluğu vardır. Eğitim yapan sadece bir düğümünüz varsa, bir düğümün, yani o düğümün ağ bağlantısının çökmesi olasılığı çok düşüktür. Yani, eğitimimi bir düğümde tamamlayabilirsem ve bu eğitim çalışmasını yapmak dört saat sürecekse, muhtemelen kontrol noktasına ihtiyacım olmaz.
Olası olmayan bir durumda bir şey olursa, dört saati tekrar yapabilirim. Sonra çok büyük dil modellerinde veya otonom araç teknolojisinde çok gördüğümüz tam tersi uç var, burada eğitim çalışması üç hafta sürebilir, üç ay sürebilir, üzerinde binlerce işlem düğümü olabilir. Bu kadar büyük bir küme ve bu kadar uzun bir eğitim seti ile bir şeylerin olacağı garantidir.
Bir kozmik ışın, kümedeki bir şeye çarpacak ve bu da bir hataya neden olacak. Ve eğer kontrol noktası yapmazsanız, örneğin iki ay içinde olabilirsiniz ve kontrol noktası yapmazsanız tamamen baştan başlamanız gerekir.
O zaman soru şu: Ne sıklıkla kontrol noktası yapıyorum? Çünkü bir kontrol noktası yaptığımda, tüm hesaplamalar durur. Ve her şey yazmalarla ilgilidir. Ve herkes aynı anda yazar.
Kontrol noktası oluşturduğunuzda, ideal bir kümede herkes tam aynı anda bitirir. İyi ayarlanmış bir kümede, birkaç saniye içindedirler. Ve sonra ara sıra, çok büyük bir kümede, herhangi bir nedenden ötürü, diğerlerinden biraz daha yavaş olabilecek bazı düğümleriniz olabilir. Belki birkaç dakika sürüklenirler.
Ama herkes 10 km’ye ulaştım dediğinde, herkes durur ve herkes yazar. Modelinizin ne kadar büyük olduğuna, verilerinizin ne kadar büyük olduğuna bağlı olarak, bu çok uzun bir yazma olabilir. Bazen bu yazma bir saatten fazla sürer.