Son zamanlarda LLM’lerle ilgili tüm “veri duvarı” olayı hakkında çok düşünüyorum. Bu, olası tüm eğitim verilerini tükettiğimiz için Yüksek Lisans’ların gelişemeyeceği veya gelişmeyeceği fikridir. Satın almıyorum. En iyi modeller sabit görünüyor, ancak bu eğitim verilerinin eksikliği değil.
Asıl sorun mu? Onlara net ve doğru cevapları olan bir sürü soru soruyoruz. Bir düşünün – Yüksek Lisans’a 2 + 2’nin ne olduğunu sorarsanız ve 4 diyorsa, bunu nasıl geliştirebilirsiniz? Yapamazsın.
Tek bir fikirde özetleniyor: Gerçeği geliştiremezsiniz.
Platolaşma Yanılsaması
İşte olanlar:
- En son teknolojiye sahip modellerin çoğu, birçok genel sorunun yanıtını veriyor.
- Bu soruların çoğu zaman nesnel olarak doğru cevapları vardır.
- En iyi modellerin tümü bunları doğru şekilde yaptığında, gelişme görmek zordur ve insanların en çok sevdiği çıktı formatına göre birincilik için yarışırlar.
Çarptığımız şey bir veri duvarı değil; yalnızca hepsi doğruyken ekstra kazanç elde etmek zor.
Bir Sonraki Sınır: Aracı ve Eylem Tabanlı İyileştirmeler
İşte işlerin ilginçleştiği yer burası. Diğerleri gibi ben de bir sonraki büyük sıçramanın eyleme dayalı ve eyleme dayalı iyileştirmelerde olacağını düşünüyorum. Ancak bu tür şeyler için daha iyi değerlendirmeler ayarlamamız gerekiyor.
Örneğin LMSYS skor tablosunu ele alalım. Bu hoş falan ama çoğunlukla bir insanın ne bulduğunu iyi ya da kötü bir tepki olarak yargılamaktır. Bu bir başlangıç ama daha ileri gitmemiz gerekiyor.
Planlamaya Dayalı Değerlendirme İhtiyacı
Bir yapay zeka mühendisi olarak çalışmamda ve X’te paylaşılan çoğu karmaşık yapay zeka projesinde bir “planlayıcı” kavramı var. Bizim aslında planlamaya dayalı bir değerlendirmeye ihtiyacımız var. Planlamaya dayalı bir değerlendirme için şunu düşünüyorum:
- Tüm “soruların” aslında görev olması gerekir.
- İnsanlar Yüksek Lisans’ın uygun bir plan oluşturma yeteneğini yargılıyor.
- Bu plan, LLM’nin araç veya kaynak setini (ya istemin bir parçası olarak verilmiştir VEYA hangi araçları gerektireceğini belirlemesine izin vererek) dikkate almalıdır.
Bu tür bir değerlendirme, bu modellerin gerçek dünya uygulamalarında gerçekten nasıl yardımcı olabileceği konusunda bize çok daha iyi bir fikir verecektir. Artık mesele sadece gerçekleri dile getirmek değil; bu bilgiyi eyleme geçirilebilir planlar oluşturmak için kullanmakla ilgili.
Yani evet, LLM gelişiminin duvara çarpacağını düşünmüyorum. İlerlemeyi ölçme şeklimizi değiştirmemiz gereken noktadayız. Ve bana sorarsan bu oldukça heyecan verici. Yapay zekanın geleceği yalnızca gerçekleri tekrarlamakla değil, tamamen eylem ve planlamayla ilgilidir. Bunun nereye varacağını görmek için sabırsızlanıyorum ve bunu deneyimlemek için burada olduğum için çok müteşekkirim!
– Joseph
Bunun gibi daha fazla içerik yayınladığımda haberdar olmak için e-posta listeme kaydolun. Düşüncelerimi Twitter/X’te de paylaşıyorum.