Dünya Modeli + Sonraki Jeton Tahmini = Cevap Tahmini

   Aralık 21, 2025  Posted in Mix


İçindekiler

Yüksek Lisans tabanlı yapay zekayı açıklamanın yeni bir yolu

Eliezer Yudkowsky sayesinde, Yüksek Lisans derecelerini ve neden bu kadar tuhaf ve olağanüstü olduklarını açıklamanın yeni favori yolunu buldum.

İşte beni bu yola sokan yazı.

>

Ve işte beni etkileyen kısım…

Kelimenin tam anlamıyla, iyi oluşturulmuş herhangi bir problem ‘cevabın bir sonraki işaretini tahmin etmek’ için izomorfiktir.

Eliezer Yudkowski

well-posed problem = prediction of next token of answer

Beğendim-ben biliyordum O. Ve iki yılı aşkın bir süredir Yüksek Lisans’ın gücünü benzer şekilde anlatıyorum. Ama bunu bu şekilde açıklamak hiç aklıma gelmedi. Kesinlikle onu seviyorum.

Tipik olarak, Yüksek Lisans’ın nasıl bu kadar güçlü olabileceğini açıklamaya çalıştığınızda, çoğundan alacağınız anlatı şu şekildedir:

LLM’lerde sihir yoktur. Sonuçta bu bir sonraki token tahmininden başka bir şey değil.

(zafer pozu)

Standart bir yapay zeka şüpheci argümanı

Eliezer’in çok güzel bir şekilde işaret ettiği bu argümandaki sorun, dünyanın yeterli bir şekilde anlaşılması durumunda, aralarında çok fazla gün ışığının olmamasıdır. sonraki jeton tahmin ve cevap tahmin.

İşte benim “sadece belirteç tahmini” argümanına 5 seviyeli jargon kaldırma kullanarak yanıt vermenin yeni yolu.

Yüksek Lisans Anlayışının 5 Düzeyi

1. KADEME: “LLM’ler yalnızca metindeki bir sonraki jetonu tahmin eder.”

2. KADEME: “LLM’ler sadece sonraki tokenları tahmin ediyor.”

3. KADEME: “LLM’ler cevapların bir sonraki bölümünü tahmin ediyor.”

4. KADEME: “LLM’ler gerçekten zor sorulara yanıt veriyor.”

5. KADEME: “ALLAH ŞEYTAN HERŞEYİ BİLİYOR.”

Bu bende de yankı uyandırıyor ama işte bunu düşünmenin başka bir yolu.

Cevaplar dünyanın açıklamaları olarak

Eğer dünyayı bir sonraki cevabı tahmin edebilecek kadar iyi anlıyorsanız, bu cevaplara sahip olduğunuz anlamına gelir. 🤔

Veya:

Bir Yüksek Lisans gerçeği ne kadar iyi anlar ve bu gerçekliği metinde tanımlayabilirse, “bir sonraki jetonu tahmin etmek” her şeyin cevabını o kadar çok biliyor olur.

Ancak “her şey” çoktur ve açıkçası buna asla ulaşamayacağız (sonsuzluğa ve matematik/fiziğin sınırlarına vb. bakın).

Dolayısıyla soru şu: İnsan bağlamı için evrenin “yeterince iyi” modeli nedir? etkili bir şekilde her şey?

İnsan ve mutlak her şeyi bilme

Eğer benimle birlikte takip ediyorsanız, tümdengelimli bir argüman olarak şu an buradayız1 > .

  1. Eğer evrenin mükemmel bir modeline sahipseniz ve o evrendeki herhangi bir şeyle ilgili bir sonraki cevabı tahmin edebiliyorsanız, o zaman her şeyi biliyorsunuz demektir.

  2. Ancak evrenin mükemmel bir modeline sahip değiliz.

  3. Öyleyse-hiçbir yapay zeka (veya bilinen herhangi bir sistem) her şeyi bilemez.

%100 kabul edildi.

Ama her şeyi bilmek için insanın standardı aslında bilmek değildir her şey. Çıta bundan çok daha düşük.

İnsan standardı şu şekilde değildir:

  • Bana evrendeki her molekülün yerini söyle

  • Bir sonraki yağmur yağdığında verandama düşecek yağmur damlalarının tam sayısını tahmin edin

  • NVIDIA hisselerinin kesin fiyatını 12 Ekim 2029 saat 15:14 EST’de tahmin edin.

  • Bana evrendeki kaç tane yabancı türün 100’den fazla IQ eşdeğerine sahip olduğunu söyleyin.

Fizikten bildiğimiz kadarıyla bunları bilmek, fiziksel, atom tabanlı, matematik tabanlı dünyanın sınırları nedeniyle tamamen imkansızdır. Dolayısıyla hiçbir zaman “her şeyi” ya da ona yakın bir şeyi bilemeyeceğiz.

Ama bunu masadan kaldır. Bu imkansız ve bahsettiğimiz şey bu değil.

Bahsettiğim şey şu insan şeyler. Şunun gibi şeyler:

  • İyi bir toplumu iyi yapan şey nedir?

  • Bu politikanın dünyadaki acıları artırması veya azaltması mümkün mü?

  • Bu yasa, yardım etmesi gereken kişilerin sonuçlarını nasıl etkiledi?

Bu sorular büyük. Çok büyükler. Ancak bunları yanıtlamanın “her şey” versiyonu var (ki bunun zaten imkansız olduğunu belirledik) ve bir de bunları yanıtlamanın “yeterince iyi” versiyonu var – insan düzeyinde.

Yüksek Lisans tabanlı yapay zekanın yakında insanlar için önemli olan şeyleri (bilim, fizik, malzeme, biyoloji, yasalar, politikalar, terapi, insan psikolojisi, suç oranları, anket verileri vb.) yeterince derinlemesine anlayacağına ve insanlara dair en önemli sorularımızın çoğunu yanıtlayabileceğimize inanıyorum.

Şunun gibi şeyler:

  • Yaşlanmaya ne sebep olur ve bunu nasıl önleriz veya tedavi ederiz?

  • Kansere ne sebep olur ve bunu nasıl önleriz veya tedavi ederiz?

  • Bu belirli kasaba, şehir, ülke için ideal hükümet yapısı nedir ve bunu uygulamak için hangi adımları atmalıyız?

  • Bu kuruluş için etkinliklerini en iyi şekilde nasıl en üst düzeye çıkarabilirler?

  • Bu aile, çocuklarının toplumun mutlu, sağlıklı ve üretken üyeleri olarak büyüme şansını en üst düzeye çıkarmak için hangi adımları atmalıdır?

  • İnsan hayatındaki anlamı nasıl arar?

Bunlar büyük sorular ve tonlarca bilgi ve çok karmaşık bir evren modeli gerektiriyorlar.ama bence uysallar. “Her şeyin” yakınında değiller ve bu nedenle evrenin tam bir modeline yakın bir yere ihtiyaç duymuyorlar.

Başka bir deyişle, pratik, insan düzeyindeki “her şeyi bilme” çıtası oldukça düşük olabilir ve yüksek lisans eğitimlerinin bu noktaya ulaşma yolunda olduğuna inanıyorum.

Tümdengelimli biçimdeki argüman

İşte bu argümanın tümdengelimli biçimi.

  1. Eğer evrenin mükemmel bir modeline sahipseniz ve o evrendeki herhangi bir şeyle ilgili bir sonraki cevabı tahmin edebiliyorsanız, o zaman her şeyi biliyorsunuz demektir.

  2. Ancak evrenin mükemmel bir modeline sahip değiliz.

  3. Bu nedenle hiçbir yapay zeka (veya bilinen herhangi bir sistem) her şeyi bilemez.

  4. Fakatİnsanoğlunun “her şey” veya “pratik her şeyi bilme” standardı bu imkansız standardın yakınında bile değil.

  5. İnsanlar için geleneksel olarak “tanrısal” bir şeyle ilişkilendirilen en önemli soruların çoğu, örneğin bir toplumun nasıl yönetileceği, evrende anlamın nasıl aranacağı vb., gerçekten inşa edebileceğimiz yapay zeka dünya modelleri kullanılarak yeterince iyi yanıtlanabilir.

  6. Öyleyseİnsanlar yakında tür olarak önemsediğimiz çoğu sorun için “pratik olarak her şeyi bilen” yapay zeka geliştirebilecekler.2 >

🤯

Ne oldu? Biz de yapıyoruz…

Son olarak burada bahsetmeye değer bir nokta daha var ki, elimizdeki her bilimsel gösterge, insanların da kelime tahmincisi olduğuna işaret ediyor.

Şu deneyi hemen kafanızda deneyin: Favori 10 restoranınızı düşünün.

…

Beyninizde bu listeyi oluşturmaya başladığınızda, geri gelmeye başlayan şeyleri izleyin. Hafızanızın ve deneyiminizin kara kutusundan bir anda kelimeler, düşünceler, görüntüler, anılar vb. aldığınız gerçeğini düşünün.

Aynı egzersizi bundan iki saat sonra veya iki gün sonra yapsaydınız, aklınızdaki flaşlar ve düşünceler farklı olurdu ve hatta farklı bir liste oluşturabilir veya listeyi farklı bir sıraya koyabilirsiniz.

Bu arada, bunun çalışma şekli Yüksek Lisans’tan bile daha az anlaşıldı! Bir düzeyde biz de “sadece” sonraki token tahmincileriyiz ve bu, biz daha az ilginç ya da harika.

Özet

  1. Her şey “sonraki jeton tahmini cevap tahminiyle izomorfiktir” cümlesiyle başlar.

  2. Bu, “bir sonraki jeton tahmininin” aslında olağanüstü bir yetenek olduğu anlamına gelir; bir salon numarasından çok atomu bölmeye benzer.

  3. İnsanlar da çok benzer bir şey yapıyor gibi görünüyor ve kendi düşüncelerinize veya konuşmanıza dikkat ederseniz, bunun gerçek zamanlı olarak gerçekleştiğini izleyebilirsiniz.

  4. Ancak bir belirteç tahmincisinin kalitesi, temel aldığı evren modelinin karmaşıklığına/kalitesine bağlıdır.

  5. Ve hiçbir zaman evrenin mükemmel bir yapay zeka modeline sahip olamayacağımız için, hiçbir zaman gerçek anlamda her şeyi bilen yapay zekaya sahip olamayız.

  6. Neyse ki, insanların gözünde “tanrısal” sayılmamız için evrenin mükemmel bir modeline ihtiyacımız yok. Bizim için en önemli sorulara yanıt verebilmek için yalnızca yeterli model karmaşıklığına ihtiyacımız var.

  7. Yaklaşıyor olabiliriz.

1 Tümdengelimli bir argüman, yukarıdaki öncülleri kabul ederseniz sonucu da kabul etmeniz gereken yerdir; örneğin, 1) Tüm kayaların kalp atışı yoktur, 2) Bu bir kayadır. 3) Dolayısıyla bunda kalp atışı yoktur.2

2 Bu esere konuştukları, şekillendirdikleri ve katkıda bulundukları için Jai Patel, Joseph Thacker ve Gabriel Bernadett-Shapiro’ya teşekkür ederiz. Pek çok yapay zeka konusunu, özellikle de bunun gibi daha derin konuları tartışırken başvuracağım arkadaşlarım onlar.





Source link