Meta’nın araştırma kolu, yapay zeka modellerini geliştirmesine yardımcı olmak amacıyla bir dizi dahili yapay zeka (AI) projesini daha geniş araştırma topluluğuna açtı.
Temel Yapay Zeka Araştırması (Fuar), sosyal medya şirketindeki açık bilim araştırma grubudur. Avrupa ve Kuzey Amerika’da 500 ila 600 kişiden oluşuyor ve yapay zekadaki temel sorunları çözmeye odaklanıyor.
Fair yakın zamanda araştırma topluluğunun yapay zekayı geniş ölçekte uygulamanın yeni yollarını keşfetmesine, keşfetmesine ve keşfetmesine olanak sağlayacağını umduğu birkaç yeni araştırma eseri yayınladı.
Bunlar arasında metin ve görüntü girişi ve çıkışı için birleşik bir mimari sağlayan Chameleon; gelecekteki birden fazla kelimeyi aynı anda tahmin etmek için dil modellerini eğitmek için çoklu belirteç tahmini; ve bir ses filigranı tekniği olan AudioSeal.
Meta’nın yapay zeka araştırmalarından sorumlu başkan yardımcısı Joëlle Pineau, Fair’in sosyal medya devinin işindeki rolüne bakarak şunları söylüyor: “Bu yenilikleri ürüne getiren ekip biz olmayabiliriz. Doğrudan yapay zekayı çözmeye odaklandık.”
Adil araştırmaları kod tabanları, veri setleri, modeller, eğitim tarifleri ve güvenlik kılavuzlarıyla birlikte kamuya açık olarak paylaşır. Grup temel inovasyona odaklanırken, araştırma Meta’nın uygulamalı araştırma ekibiyle paylaşılıyor; kendisi, modeli alıp yeni Chameleon konsepti gibi bir konseptten nasıl gidileceğini bulduğunu ve bunu Meta’nın ürün ekipleriyle birlikte çalışarak bir konsepte dönüştürdüğünü söylüyor. ürün.
Pineau, “Yıllar geçtikçe birçok yeniliğimiz ürünlere dönüştü” diyor. “Meta gözlükleri (akıllı gözlükler) gördüyseniz, onun çalıştırdığı yapay zeka modeli araştırmamızın sonucunda ortaya çıktı. İlk Lama modeli araştırma laboratuvarımızdan çıktı. Ancak Llama 2 ve 3 ürün odaklı olduğundan Meta’nın üretken yapay zekası tarafından geliştirilirler. [GenAI] daha çok uygulamalı bir araştırma ekibi olan ekip.
Yeni açık modeller
Meta Chameleon, metin ve görseller için tokenizasyon kullanıyor. Şirkete göre bu, daha birleşik bir yaklaşımı mümkün kılıyor ve modelin tasarımını, bakımını ve ölçeklendirilmesini kolaylaştırıyor. Uygulama alanları arasında, görüntüler için yaratıcı altyazılar oluşturulması veya tamamen yeni bir sahne oluşturmak için metin istemleri ve görüntülerin bir karışımının kullanılması yer alır.
Pineau, Chameleon’da modelin belirli özellikler hakkında akıl yürütmek için metin ve görseller kullandığını söylüyor. “Chameleon’u yaklaşık 30 milyar parametreye kadar eğittik; bu, örneğin Llama, GPT ve benzeri modellerden çok daha küçük” diyor. “Ancak belirli bir boyuta kadar işe yarayan bir kavram kanıtımız var.
Pineau, “Uygulamalı araştırma ekipleri ya daha fazla ölçeklendirme ya da farklı veri türleriyle ve farklı kısıtlamalar altında çalışmasını sağlama yeteneğine sahip” diyor.
Meta’nın halka açıkladığı ikinci araştırma ise tokenizasyona yeni bir yaklaşım. Çoğu modern büyük dil modelinin (LLM) basit bir eğitim hedefi vardır: bir sonraki kelimeyi tahmin etmek. Bu yaklaşım basit ve ölçeklenebilir olsa da Meta bunun aynı zamanda verimsiz olduğunu söylüyor. Çocukların aynı düzeyde dil akıcılığını öğrenmek için ihtiyaç duyduğu miktardan birkaç kat daha fazla metin gerektirir.
Pineau, çoklu token tahmininin doğrudan kod oluşturma çalışmalarından ilham aldığını söylüyor. “Birçok tokenı yalnızca doğrusal bir şekilde değil, yapılandırılmış bir şekilde eninde sonunda üretme fırsatı var” diyor.
“Klasik LLM’ler kod için yalnızca bir kelimeyi ardı ardına üretirken ve çıktı jetonlarının ürün doğrusallaştırılmasında birçok kişi aynı anda bir jeton yazmaz. Kod yapısını yazarsınız, sonra bazı alt yapıları yazarsınız, sonra yapılara göre ayrıntıları çözersiniz ve kodu oluştururken farklı soyutlama düzeylerinde ileri geri gidersiniz.”
Bunun Yüksek Lisans’ta kullanılan doğrusal yaklaşımdan çok daha karmaşık olduğunu ekliyor.
Kapalı ve açık tartışma
Kapalı yapay zeka modelleri için bir yer olup olmadığı sorulduğunda Pineau, aşırı riske yol açmadığından emin olmak için korumalar mevcut olduğunda bir yapay zeka modelinin açık hale getirilmesi gerektiğine inanıyor.
“Chameleon modelimizde, bir risk analizinden geçtikten sonra görüntü oluşturma yeteneklerini serbest bırakmamayı seçtik” diyor. “Model görüntü oluşturabiliyor ancak güvenlik önlemlerinin yeterince olgun olmadığını hissettik.”
Fair’in geliştirdiği ancak yayınlanmayan bir diğer model ise ses sentezine yönelik model. Pineau, “Bir kişinin ses kaydını aldıktan birkaç saniye sonra, aslında birinin sesini yanıltıcı olacak kadar taklit eden bir konuşma üretebiliyoruz” diyor.
Bu durumda yapay zeka tarafından üretilen ses ile gerçek ses kaydını ayırt edebilecek kimlik doğrulama araçlarının mevcut olmadığını söylüyor. Ancak Meta, kimlik doğrulamayı araştırıyor ve AudioSeal’in filigran tekniğinin, modelin üçüncü taraf incelemesi için küçük bir akademik araştırmacı grubuyla paylaşıldığını söylüyor. Ses filigranı teknikleri, Meta araştırmacılarına ses sentezi modelini kamuya açık hale getirmek için yeterli güvenliğe sahip oldukları güvenini verecek kadar olgun olmasa da AudioSeal, yapay zeka tarafından oluşturulan konuşmanın yerelleştirilmiş tespiti için özel olarak tasarlanmıştır.
Peki onlara bir şans vermeli misin? Meta’nın piyasaya sürdüğü yeni yapay zeka modelleri açık olsa da Pineau, bunların nasıl çalıştırılacağını anlamak için makul bir öğrenme eğrisinin olduğunu söylüyor; ancak Hugging Face aracılığıyla sunulan modeller gibi modelleri rutin olarak kullanan kişilerin bu modeller için uygun bir konumda olması gerektiğini söylüyor. nispeten kolay bir şekilde ayağa kalkıp koşmaya başlayın.
“Llama gibi bir modeli alıp ona ince ayar yapan insanlarımız var ve 48 saat içinde bazı modellerde görünen ince ayarlı bir versiyon mevcut oluyor. [AI model] Liderlik tabloları” diyor. “Bu gerçekten yeterlilik seviyenize bağlı.”
Başlamak için üst düzey donanım gerekmez. Bazı durumlarda modellerin farklı boyutlarda sunulduğunu söylüyor: Daha küçük modeller tek bir grafik işlem biriminde çalıştırılabilir ve çalışmaya başlamaları daha kolaydır. Pineau, “Daha büyük modeller, gerekli performans düzeyini elde etmek için dağıtılmış sistemler hakkında daha fazla bilgi gerektirir” diyor.