Algoritmanın Ötesinde: Yapay Zeka Geliştiricilerinin Bana Her Şeyi Sor adlı son web seminerimiz sırasında dört deneyimli yapay zeka mühendisi, uygulamalı yapay zeka ve makine öğrenimi (ML) hakkındaki ayrıntıları ve soruları tartıştı. Mesleki deneyimlerine dayanarak teknik zorluklara, yenilik fırsatlarına, etik hususlara ve algoritmik kusurların tanımlanmasına ve azaltılmasına odaklandılar. Mühendis, yaratıcı teknoloji uzmanı ve melek yatırımcı Luciano Cheng, Frictionless Systems Carter Jernigan’ın kurucusu ve HackerOne’dan iki kişi: Uygulamalı AI/ML Yazılım Mühendisi Zahra Putri Fitrianti ve Baş Yazılım Mühendisi Willian van der Velde bize katıldı.
Bu blog, web seminerinin ilk bölümü olan Yapay Zeka sistem tasarımı ve geliştirmesinden edinilen ve şu konulardaki soruların yanıtlandığı önemli öğrenmeleri vurgulayacaktır:
- İhtiyacın değerlendirilmesi ve uygun yapay zeka modelinin seçilmesi
- Yapay zekanın benimsenmesi ve uygulanmasındaki zorluklar ve en iyi uygulamalar
- Pratik yapay zeka uygulamaları ve azaltma stratejileri
S: Tokenizasyon nedir ve yapay zeka modelleriyle ilişkisi nedir?
– Luciano:
Bir jeton, bir sonraki girdinin en küçük potansiyel değeridir. Modelleri eğittiğimizde, nasıl yazılacağı konusunda eğitilmiyorlar. Ona çıktının atomik seviyesi olan bir dizi kelime veriyorlar. “Jeton”, ML/AI’de girilebilen veya çıkabilen en küçük şeyi temsil eden bir terimdir.
:
Yapay zeka modelleri, sözcüklerin jeton adı verilen parçalara bölünmesini düşünüyor. Bir jeton kabaca kelime sayınızın dörtte biridir. Modeller bu konuda böyle düşünüyor.
S: İşletmeniz için mükemmel yapay zeka modelini nasıl seçersiniz?
:
Bir yapay zeka modeli seçmeden önce sorulması gereken en önemli soru şudur: ‘Sorununuzu çözmek için yapay zekaya ihtiyacınız olduğundan emin misiniz?’ Pek çok sorun geleneksel yaklaşımlarla çözülebilir ancak yapay zekanın gerçekten anlamlı olduğu pek çok durum vardır.
Büyük Dil Modeli (LLM) seçerken GPT4 veya Claude Opus gibi en iyisini seçiyorum ve ne tür sonuçlar elde ettiğime bakıyorum. İyi modellerle iyi sonuçlara ulaşmak kolaydır. Daha sonra, maliyetimi ve çıkarım süremi azaltmak için daha küçük modellerle benzer sonuçlar elde edip edemeyeceğimi görmek için geriye doğru çalışıyorum. Buradan itibaren maliyet, gecikme, lisanslama, barındırma vb. açısından işletmenizin ihtiyaç ve gereksinimlerinin neler olduğuna gelinir.
– Luciano:
İçine koyduğunuz verileri ve sonuçla ilgili beklentinizin ne olduğunu anladığınızdan emin olun. Örneğin, farklı çözümler gerektiren iki farklı sorun var:
Farklı rotalarda çalışan bir kamyon filonuz varsa ve belirli bir rotayla ilgili bir sorunu çözmeye çalışıyorsanız, yapay zeka sizi yalnızca bir yere kadar götürebilir. Bunun gibi bir sorun, yapay zekanın kontrolü dışındaki bireysel sürücüler gibi dış faktörlere dayanır. Yapay zeka bunu daha verimli hale getirebilir ancak yapay zeka tek başına bu sorunu çözemez.
Bir keresinde, bir projenin zamanında tamamlanıp tamamlanmadığına ilişkin birçok metni doğru/yanlış yanıtına indirgemem gerekiyordu, ancak modele aynı anda çok fazla veri koydum, bu nedenle model tüm verileri tokenize edip analiz edemedi. veri. Bu nedenle hangi modelin kullanılacağı ve yapay zekanın kullanılıp kullanılmayacağı kararı tamamen verinin, ürünün ve beklentilerin ne olduğuna göre ikinci planda kalıyor.
S: Kurumsal yapay zekanın benimsenmesinde karşılaştığınız en sinir bozucu zorluklar nelerdir?
– Willian:
Kurum içi benimseme konusundaki zorluklardan biri, meslektaşlarımızı yapay zeka ile ürünler geliştirme konusunda nasıl güçlendirebileceğimiz sorusudur. Dışarıdan ise yapay zeka odaklı çözümleri nasıl sattığımıza cevap vermeliyiz.
Güven inşa etmeliyiz [HackerOne platform] kullanıcılar. Özellikle yüksek lisans eğitimlerinde kuruluşlar markaya zarar vereceklerinden ve rastgele gerçekleri sanrı haline getireceklerinden korkuyorlar. Bu nedenle, müşterilerin özellik setimize katılmasını sağlamak için hangi sistemleri kullandığımız ve modellerimizi nasıl eğittiğimiz konusunda şeffaf olmalıyız.
Yüksek Lisans, yeni özellikleri ve değerleri keşfetmek için harika bir fırsat sunar, ancak halüsinasyon riski de vardır. Kurumsal müşterilerin halüsinasyon sayısını sınırlamak için savunmacı bir yaklaşım benimsiyoruz.
Üretken yapay zekaya hacker bakış açısı hakkında daha fazla bilgi edinin.
– Luciano:
İlk zorluk, verilerin gerçek dünyada asla temiz olmamasıdır. İnsanlar, kullanıma hazır bir modeli ayarlamak için ne kadar temiz veriye ihtiyaç duydukları konusunda şaşırıyorlar. Ne zaman bir makine öğrenimi projesine başlasam, gerçekten eğlenceli, bilim kurgu işi yapacağımı düşünüyorum ve onun yerine veri temizliyorum. Veri mühendislerine, test donanımlarına, veri hatlarına, ön uca vb. ihtiyacınız var. Bu çok zorlu bir iş olabilir, ancak sonuçta doğru sorunu seçerseniz çok değerli olabilir.
İkinci zorluk problem seçimidir. Bazı problemler yapay zekaya iyi gelir, bazıları ise uymaz. Yapay zeka ile çözülemeyen sorunları yapay zeka ile çözmeye çalışmak mantığa aykırıdır. İnsanlar bir pazarda bir ürün seçip ona bir araç olarak yapay zekayı kullanarak yaklaşabilir ve bunun kullanılacak doğru araç olmadığını görebilirler.
Yapay zeka, hesaplama açısından anlaşılması zor bir şeyi alıp onu daha kesin bir şeye indirgeme konusunda en iyisidir; özetleme harika bir örnektir. Çoğu teknik kişi, bir özetleme ürünü üretmek için kullanıma hazır LLM’leri kullanıma hazır araçlarla birlikte kullanabilir. Anında değere sahip bir şey üretmek için çok kesin olmayan verileri kullanabilirsiniz.
Tam tersi satranç gibi bir şey olurdu. Potansiyel satranç oyunlarının sayısı evrendeki atom sayısından fazladır. Yapay zeka sizi ancak bir yere kadar götürebilir; Satranç zaten oldukça hassastır ve görünürdeki basitliğine rağmen yapay zeka için takip edilemez.
:
Yüksek Lisans’lar için pek çok farklı kullanım durumu vardır ve bunlardan en yaygın olanı, bir veri kümesindeki soruları yanıtlamaktır. İnsanlar genellikle PDF’lerini alıp bir veritabanına yerleştirir ve bunu Yüksek Lisans’a soru sormak için kullanırlar. Bu genellikle işe yarar, ancak bir süre sonra yapay zekanın veri kümenizdeki belirli şeylere takıntılı hale geldiğini fark edeceksiniz. Bazen tek bir şeye takılıp kalmayı bırakıp çok daha iyi bir çıktı elde etmek için verileri değiştirmeniz gerekir. Daha iyi bilgi erişimi için orijinal verilerin ayarlanması gerekir.
S: Kendi özel verileriniz için yerel bir LLM’yi nasıl oluşturur veya kullanırsınız?
– Willian:
LangChain ve Hugging Face harika kaynaklardır ve özellikle Almayla Artırılmış Üretimin (RAG) temelleri ve bir RAG veritabanının nasıl doldurulacağı konusunda önceden oluşturulmuş birçok eğitim ve kitaplığa sahiptir.
– Luciano:
Size uygun olanı kullanmanızı öneririm (SQLite, DuckDB, Postgres), ancak kendi modelinizi sıfırdan eğitmenizi önermiyorum. Akademik bir çalışma olarak büyüleyici ama ortalama bir insandan daha fazla kaynak gerektiriyor. Açık kaynaklı bir model çekmenizi şiddetle tavsiye ederim; aksi takdirde uzun zaman ve kapsamlı kaynak gerekecektir.
:
Sorunu parçalara ayırmayı seviyorum. Aynı anda birden fazla şey öğrenmeye çalışıyorsunuz ve her seferinde bir şeyi öğrenmek işleri kolaylaştıracaktır. OpenAI veya GPT4 ile başlayın ve bunu yerel olarak yapma konusunda endişelenmeyin. Verilerinizin gizliliği konusunda endişeleriniz varsa, deneme yapmak ve süreci anlamak için diğer bazı genel verileri kullanın.
S: Hukuk Yüksek Lisansı gerçekten bilgi modelleri midir, yoksa sadece dili anlayan modeller midir?
– Luciano:
LLM bir kişi değildir. Bu bir tokenizasyon sistemi. Verdiğiniz verileri alır ve bir sonraki jetonu tahmin eder. Bu tahminleri yapmak için birçok bağlamı dikkate almak, ortalama bir insandan daha iyidir. Yüksek Lisans’ları antropomorfize etmeyi sevmiyorum. Bunlar diğer yazılımlar gibi bir yazılımdır.
:
LLM’lerden en iyi şekilde yararlanmanın en iyi yolu, onlara verdiğiniz metin üzerinden çalıştıklarını hatırlamaktır. Onlara Google gibi bir arama motoru gibi davranmak yerine onlara metin verip o metni belirli bir şekilde işlemelerini istemek çok daha iyidir. Bu şekilde, orijinal eğitiminde kendisine verilen bilgiyi geri almaya çalışmak yerine, sizin verdiğiniz bilgiler üzerinde çalışan bir dil modelidir.
S: Teknoloji ağırlıklı bir şirkette yapay zekaya yönelik bazı “önemli meyve” kullanım durumları nelerdir?
– Willian:
Güvenlik bulgularını izlemenize yardımcı olacak bir sistem oluşturun. Bir tespit olduğunda bu bulguyu zenginleştirmek için Yüksek Lisans’tan yararlanabilirsiniz. Triyaj için daha az zaman harcayabilir ve daha hızlı önceliklendirebilirsiniz. İster bir tarayıcıdan elde edilen bir bulgu, ister bir hata ödül programı ya da sızma testi olsun, siber güvenliğin elde edilmesi gereken meyvesi budur. Tüm verileri toplayın ve bulguları özetleyin.
Kod incelemesi başka bir şeydir. Güvenli olmayan kodu bulmak amacıyla ilk geçişi yapmak için LLM’yi kullanabilirsiniz.
:
Kodu incelerken çok spesifik olmak size çok daha spesifik yanıtlar verecektir. Örneğin, incelenecek kodu sağlarken LLM’ye belirli bir satıra SQL enjeksiyonu konusunda endişe duyduğunuzu söyleyin.
S: Yüksek Lisans’lar tarafından bir sorgu için sağlanan lisanslı açık kaynaklı yazılımı, özellikle Yüksek Lisans’lar web’den kaynaksız kod parçacıkları sağladığında nasıl yönetirsiniz?
– Luciano:
Sistemleri dağıtırken ve yönetirken, üçüncü bir tarafça onaylanmadığı sürece hiçbir şey yapmıyorum. Avukat değilim ama çözmeye çalıştığınız sorunun karmaşıklığına bağlı olarak lisans işiniz için kritik öneme sahip olabilir veya tamamen alakasız olabilir. Modelleri uygularken kullanmayı seçtiğim lisanslar konusunda muhafazakar davranırım.
:
Github Copilot ve OpenAI telif hakkı tazminatına sahiptir. Sizin sorumluluğu kabul etmeniz yerine onlar sorumluluğu kabul ediyorlar. Elbette avukatlara danışın, ancak bu çözümler, bir Yüksek Lisans’ın açık kaynak olabilecek ancak atıf yapılmayan bir kod sağlaması durumunda alabileceğimiz risk konusunda bize daha fazla güven veriyor.
Bu AI ve ML mühendislerinden daha fazlasını öğrenmek ister misiniz? Yapay Zeka Geliştiricilerinin AMA web seminerinin tamamını izleyin.