Son web seminerimiz sırasında, Algoritmanın Ötesinde: AI geliştiricilerinin Ask-Me-Herhing, dört deneyimli AI mühendisi uygulanan AI ve Makine Öğrenimi (ML) hakkında ayrıntıları ve soruları tartıştı. Teknik zorluklara, yenilik fırsatlarına, etik düşüncelere ve algoritmik kusurların profesyonel deneyimlerine dayanarak tanımlanmasına ve hafifletilmesine odaklandılar. Mühendis, yaratıcı teknoloji uzmanı ve Melek yatırımcısı Luciano Cheng, sürtünmesiz sistemlerin kurucusu Carter Jernigan ve Hackerone’un kendisinden ikisi katıldı: Uygulamalı AI/ML Zahra Putri Fitrianti ve ana yazılım mühendisi Willian van der Velde’nin yazılım mühendisi.
Bu blog, web seminerinin ilk bölümünden, AI sistem tasarımı ve geliştirmesinden gelen önemli öğrenimleri vurgulayacak ve şu soruları yanıtlayan aşağıdakiler şu
- İhtiyacı değerlendirmek ve uygun AI modelinin seçilmesi
- AI benimseme ve uygulamada zorluklar ve en iyi uygulamalar
- Pratik AI uygulamaları ve azaltma stratejileri
S: Tokenizasyon nedir ve AI modelleriyle nasıl ilişkilidir?
Luciano:
Bir jeton, bir sonraki girişin en küçük potansiyel değeridir. Modelleri eğittiğimizde, nasıl hecelenecekleri konusunda eğitilmiyorlar. Ona çıktının atom seviyesi olan bir dizi kelime veriyorlar. “Jeton”, ML/AI’da girilebilecek veya çıktılabilecek en küçük şeyi temsil etmek için bir terimdir.
Carter:
AI modelleri, jeton adı verilen parçalara bölünmüş kelimeleri düşünür. Bir jeton, kelime sayısınızın yaklaşık dörtte biridir. Modeller bunu böyle düşünüyor.
S: İşletmeniz için mükemmel AI modelini nasıl seçersiniz?
Carter:
Bir AI modeli seçmeden önce, sorulması gereken daha önemli soru, ‘Sorununuzu çözmek için AI’ya ihtiyacınız olduğundan emin misiniz?’ Birçok sorun geleneksel yaklaşımlarla çözülebilir, ancak AI’nın gerçekten mantıklı olduğu birçok durum vardır.
Büyük bir dil modeli (LLM) seçerken, GPT4 veya Claude Opus gibi en iyisini seçiyorum ve ne tür sonuçlar aldığımı görüyorum. İyi modellerle iyi sonuçlar elde etmek kolaydır. Sonra, maliyetimi ve çıkarım süremi azaltmak için daha küçük modellerle benzer sonuçlar alıp alamayacağımı görmek için geriye doğru çalışıyorum. Oradan, maliyet, gecikme, lisanslama, barındırma vb.
Luciano:
İçine koyduğunuz verileri ve sonuç için beklentinizin ne olduğunu anladığınızdan emin olun. Örneğin, farklı çözümler gerektiren iki farklı sorun var:
Farklı rotalar yapan bir kamyon filonuz varsa ve belirli bir rota ile ilgili bir sorunu çözmeye çalışıyorsanız, AI sizi sadece şimdiye kadar alabilir. Bunun gibi bir sorun, AI’nın kontrolü dışında olan bireysel sürücüler gibi dış faktörlere dayanır. AI bunu daha verimli hale getirebilir, ancak tek başına AI bu sorunu çözemez.
Bir zamanlar bir projenin zamanında olup olmadığı konusunda çok fazla metni doğru/yanlış bir cevaba indirmem gerekiyordu, ancak aynı anda modele çok fazla veri koydum, böylece model tümü tokenleştiremedi ve analiz edemedi veri. Bu nedenle, hangi modelin ve yapay zeka kullanıp kullanmadığına dair karar, veri, ürün ve beklentilerin ne olduğuna tamamen ikincildir.
S: Kurumsal AI benimsemeyle karşılaştığınız en can sıkıcı zorluklardan bazıları nelerdir?
Willian:
İç benimsemeye yönelik bir zorluk, meslektaşlarımızın yapay zeka ile ürün geliştirmeleri için nasıl güçlendirileceğimizi yanıtlıyor mu? Dışarıdan, AI güdümlü çözümleri nasıl sattığımıza cevap vermeliyiz.
Bizimle güven inşa etmeliyiz [HackerOne platform] kullanıcılar. LLMS ile, özellikle kuruluşlar marka hasarı ve rastgele gerçekleri halüsinasyon yapacağından korkuyorlar. Bu nedenle, müşterilerin özellik setimizi seçmelerini sağlamak için hangi sistemleri kullandığımız ve modellerimizi nasıl eğittiğimiz konusunda şeffaf olmalıyız.
LLM’ler yeni özellikleri ve değeri keşfetmek için harika bir fırsat açıyor, ancak halüsinasyon riski var. Kurumsal müşteriler için halüsinasyon sayısını sınırlamak için savunmacı bir yaklaşım benimsiyoruz.
Hacker Perspektifi hakkında daha fazla bilgi edinin.
Luciano:
İlk zorluk, verilerin gerçek dünyada asla temiz olmamasıdır. İnsanlar hazır bir model ayarlamak için ne kadar temiz veriye ihtiyaç duydukları konusunda şaşırırlar. Bir makine öğrenimi projesine her başladığımda, gerçekten eğlenceli, bilimkurgu çalışması yapacağım ve bunun yerine veri temizliğiyim. Veri mühendislerine, test kablo demetlerine, veri boru hatlarına, ön uçlara vb. İhtiyacınız var. Çok mucikli bir çalışma olabilir, ancak sonunda doğru sorunu seçerseniz çok değerli olabilir.
İkinci zorluk problem seçimidir. Bazı sorunlar kendilerini AI’ya iyi ödünç verir ve bazıları vermez. Yapay zeka ile çözülemeyen AI ile sorunları çözmeye çalışmak mantıksızdır. İnsanlar bir pazarda bir ürün seçebilir ve AI ile bir araç olarak yaklaşabilir ve bunun doğru araç olmadığını bulurlar.
Yapay zeka en iyisi, hesaplamalı olarak inatçı bir şey almak ve onu daha kesin bir şeye indirgemektir; Özetleme harika bir örnektir. Çoğu teknik kişi, bir özetleme ürünü üretmek için hazır LLM’leri hazır araçlarla kullanabilir. Hemen değerli bir şey üretmek için çok kesin olmayan verileri kullanabilirsiniz.
Bunun tersi, satranç gibi bir şey olurdu. Potansiyel satranç oyunlarının sayısı, evrendeki atom sayısından daha fazladır. AI sizi sadece şimdiye kadar alabilir; Satranç zaten çok hassastır ve görünür sadeliğine rağmen AI için izlenemez değildir.
Carter:
LLM’ler için birçok farklı kullanım durumu vardır ve ortak bir durum bir veri kümesindeki soruları cevaplamaktadır. İnsanlar genellikle PDF’lerini alır, bir veritabanına sokar ve bunu LLM’nin sorularını sormak için kullanırlar. Bu genellikle iyi çalışır, ancak bir süre sonra AI’nın veri setinizdeki belirli şeylere takıntılı olduğunu fark edeceksiniz. Bazen bu şeyi takıntıyı durdurmak ve çok daha iyi bir çıktı elde etmek için verileri değiştirmeniz gerekir. Daha iyi bilgi alımı için orijinal verilerin ayarlanması gerekir.
S: Kendi özel verileriniz için yerel bir LLM’yi nasıl oluşturuyor veya kullanıyorsunuz?
Willian:
Langchain ve Hugging Face harika kaynaklardır ve özellikle geri alınan nesil (RAG) ve bir RAG veritabanının nasıl doldurulacağı temelleri için önceden inşa edilmiş birçok öğretici ve kütüphaneye sahiptir.
Luciano:
Rahat olursanız olun (SQLite, Duckdb, Postgres) kullanmanızı tavsiye ederim, ancak kendi modelinizi sıfırdan eğitmenizi önermiyorum. Akademik bir egzersiz olarak büyüleyici ancak ortalama bir insandan daha fazla kaynak gerektirir. Açık kaynaklı bir model çekmenizi şiddetle tavsiye ederim; Aksi takdirde, uzun zaman ve kapsamlı kaynaklar alacaktır.
Carter:
Sorunu ayırmayı seviyorum. Aynı anda birden fazla şey öğrenmeye çalışıyorsunuz ve her seferinde bir şey öğrenmek işleri kolaylaştıracak. Openai veya GPT4 ile başlayın ve yerel olarak yapmaktan endişe etmeyin. Verilerinizin mahremiyetinden endişe ediyorsanız, süreci denemek ve anlamak için başka bazı genel veriler kullanın.
S: LLM’ler gerçekten bilgi modelleri mi yoksa sadece dili anlayan modeller mi?
Luciano:
Bir LLM kişi değildir. Bu bir tokenizasyon sistemi. Verdiğiniz verileri alır ve bir sonraki belirteci tahmin eder. Bu tahminleri ortalama insandan daha fazla yapmak için bir sürü bağlam almak iyidir. Antropomorfize LLM’leri sevmiyorum. Diğer yazılımlar gibi yazılımlardır.
Carter:
LLM’lerden en iyi şekilde yararlanmanın en iyi yolu, onlara verdiğiniz metinden çalıştıklarını hatırlamaktır. Onlara Google gibi bir arama motoru gibi davranmak yerine, onlara metin vermek ve bu metni belirli bir şekilde işlemelerini istemek çok daha iyidir. Bu şekilde, orijinal eğitiminde verildiği bilgiyi almaya çalışmak yerine verdiğiniz bilgiler üzerinde çalışan bir dil modelidir.
S: Teknik ağır bir şirket içinde yapay zeka için bazı “düşük asılı meyve” kullanım durumları nelerdir?
Willian:
Güvenlik bulgularını izlemenize yardımcı olan bir sistem oluşturun. Bir algılama olduğunda bu bulguyu zenginleştirmek için LLM’den yararlanabilirsiniz. Triyaj için daha az zaman harcayabilir ve daha hızlı öncelik verebilirsiniz. Bir tarayıcıdan, bir böcek ödül programından veya pentesting’den bir bulgu olsun, siber güvenlik için düşük asılı meyve budur. Tüm verileri toplayın ve bulguları özetleyin.
Kod incelemesi başka bir tanedir. Güvensiz kod bulmak için ilk geçişi yapmak için LLM’yi kullanabilirsiniz.
Carter:
Kodu incelerken, çok spesifik olmak size çok daha spesifik cevaplar alacaktır. Örneğin, gözden geçirilecek kodu sağlarken, LLM’ye belirli bir çizgideki SQL enjeksiyonu hakkında endişelendiğinizi söyleyin.
S: LLMS tarafından bir sorgu için sağlanan lisanslı açık kaynaklı yazılımı, özellikle LLM’ler web’den kodlanmamış kod parçacıkları sağladığında nasıl ele alıyorsunuz?
Luciano:
Sistemleri konuşlandırırken ve yönetirken, üçüncü bir taraf tarafından kutsanmadıkça bir şey yapmam. Ben bir avukat değilim, ancak çözmeye çalıştığınız sorunun karmaşıklığına bağlı olarak, lisans işletmeniz için kritik olabilir veya tamamen alakasız olabilir. Modelleri uyguladığımda, kullanmayı seçtiğim lisanslar konusunda muhafazakarım.
Carter:
Github Copilot ve Openai telif hakkı tazminatına sahiptir. Sorumluluk kabul etmek yerine sorumluluk kabul ederler. Tabii ki, avukatlarla danışın, ancak bu çözümler bize bir LLM açık kaynak olabilecek ancak atfedilmeyen kod sağladığında alabileceğimiz risk hakkında daha iyi güven veriyor.
Bu AI ve ML mühendislerinden daha fazla bilgi edinmek ister misiniz? AI geliştiricilerinin AMA web seminerini izleyin.