Organizasyonlar, Deepseek ve Llama gibi açık kaynak ürünleri ile geri kazanım artırılmış nesil (RAG) üzerinde kendi üretken yapay zeka tabanlı (genai tabanlı) inşa etmelidir.
Bu, yakın zamanda Suudi Arabistan’daki LEAP 2025 teknoloji etkinliğinde konuşan New York Kent Konseyi baş veri bilimcisi Alaa Moussawi’ye göre.
Suudi başkenti Riyadh’ın yakınında düzenlenen etkinlik, AI’da uzmanlaştı ve çöl krallığı AI’ya 15 milyar dolarlık planlı yatırım duyurdu.
Ancak, Moussawi, Konseyin 2018’de ilk proje yolunu tanımladığı için, herhangi bir organizasyonun yapay zekayı çok az harcama ile test etmesini ve dağıtmasını durduracak hiçbir şey olmadığını söylüyor.
New York Belediye Meclisi, New York City hükümetinin, çoğunlukla şehirde yasaları ve bütçeleri geçmekten sorumlu olan yasama şubesidir. Konseyde 51 seçilmiş yetkili artı avukat ve politika analisti bulunmaktadır.
Moussawi’nin ekibinin yapmaya başladığı şey, yasama sürecini daha gerçeğe dayalı ve kanıta dayalı hale getirmek ve avukatların, politika analistlerinin ve seçilmiş yetkililerin günlük çalışmalarını daha pürüzsüz hale getirmekti.
2018 yılında kurulan ilk AI uygulaması
Bu amaçla, Moussawi’nin ekibi 2018’de konseyde üretim kullanımı için ilk AI benzeri uygulamasını-mevzuat için yinelenen bir denetleyici-inşa etti.
Bir konsey üyesinin mevzuat için bir fikri olduğunda, veritabanına konulur ve zaman damgasıdır, böylece özgünlük açısından kontrol edilebilir ve bu yasanın meyve vermesini sağlayan seçilmiş yetkiliye yatırılır.
Sistemde on binlerce fikir var ve yasama sürecinde önemli bir adım daha önce bir fikrin önerilip önerilmediğini kontrol etmektir.
Moussawi, “Eğer öyleyse, fikir bu yetkiliye yatırılmalıdır” diyor. “Çok çekişmeli bir şey. Geçmişte bir yasa tasarısına oy verildiği noktaya geldiği ve son olarak başka bir konsey üyesinin fikri önerdiklerini hatırladıkları, ancak yinelenen kontrolü manuel olarak yapmış olan kişinin bir şekilde kaçırmış olduğunu hatırladık. ”
Moussawi, bugünün standartlarına göre, ilkel bir model. 2013 yılında yayınlanan ve etrafındaki kişilere dayanan kelimelerin anlamı hakkında bilgi edinen Google’ın Word2Vec’i kullanıyor.
“Biraz yavaş,” diyor Moussawi. “Ama önemli olan, biraz zaman alabilse de – benzerlik sıralamalarını döndürmek beş veya 10 saniye – bir insandan çok daha hızlı ve işlerini daha kolay hale getiriyor.”
Vektör gömme
Yinelenen denetleyicinin arkasındaki temel teknoloji, yüksek boyutlu bir vektör uzayındaki bir kelimenin konumunu temsil eden bir sayıların-vektörlerin-bir listesi olan vektör gömme.
Moussawi, “Bu genellikle binden fazla boyuttan oluşabilir” diyor. “Bir vektör gömme gerçekten sadece bir sayı listesidir.”
Moussawi fikri iki vektöre kadar basitleştirerek gösterdi. Örneğin, bir kart oyununda, vektörü “telif hakkı” ve “kadın” vektörünü alabilirsiniz ve bunları bir araya getirirseniz size “kraliçe” için vektör vermelidirler.
Moussawi, “Güçlü vektör yerleşimleri bu ilişkileri verilerden türetebilir” diyor. “Benzer şekilde, ‘telif hakkı’ ve ‘erkekler’ için vektörleri eklediyseniz, ‘kral’ için vektör almayı bekleyebilirsiniz.”
Bu aslında konseyin kopya denetleyicisindeki teknoloji. Vektör eklemelerini oluşturmak için tüm metin kümesini kullanarak kendini eğitir.
“O zaman bir fikir vektörü oluşturmak için tüm kelime eklemelerini özetliyor” diyor. “Bir yasa ve bir yasa fikri için bu fikir arasındaki mesafeyi ölçebiliriz. İki boyutlu bir alanla çalışıyorsanız veya daha yüksek boyutlu bir alana genişletilmiş Pisagor teoremini uygulayarak cetvelinizle ölçebilirsiniz, bu da oldukça basit bir şekilde. Ve hepsi bu – iki fikir arasındaki mesafenin ölçüsü. ”
Moussawi, kuruluşların üretken AI (Genai) ile ellerini kirletmeleri gerektiği konusunda güçlü bir savunucudur. O bir yazılım mühendisliği doktorası ve yakın bir gelişme öğrencisi – sinir ağlarının çeşitli yinelemeleri ile – ancak sınırlamalarını vurgulamak istiyor.
“Bugün kullandığımız son teknoloji modeller de dahil olmak üzere AI metin modelleri, bir sonraki en iyi kelimeyi bir dizi kelimede tahmin etmek ve süreci tekrarlamakla ilgilidir” diyor. “Yani, örneğin, büyük bir dil modeli sorarsanız [LLM]’Tavuk neden yoldan geçti?’, Modele pompalayacak ve bir sonraki kelimeyi, ” ve bir sonraki ‘tavuk’ vb.
“Bu gerçekten bu, ve bu, LLM’lerin neden aslında akıllı olmadığını veya gerçek düşünmediğimiz gibi gerçek düşünmediğini anlamanızı sağlamalıdır.
“Buna karşılık, size bir kavram açıklıyorum ve bu fikri aktarmaya çalışıyorum ve bu fikri ifade edecek kelimeleri buluyorum. Büyük bir dil modelinin, sırada hangi kelimenin geleceği hakkında hiçbir fikri yoktur. Bir kavram düşünmüyor. ”
Moussawi’ye göre, bilimsel topluluğun 2020’de gelen en büyük atılım, hesaplama, veri kümeleri ve parametrelerin ölçeklenebileceği ve ölçeklenebileceği ve onlara daha fazla hesaplama gücü atmaya ve daha iyi performans elde edebileceğinizdi.
Kuruluşların algoritmaların arkasındaki bilimin gizli bilgi olmadığını akılda tutmaları gerektiğini vurgulamaktadır: “Deepseek ve Lama gibi tüm bu açık kaynak modellerine sahibiz. Ancak önemli paket, teknolojinin temel mimarisinin gerçekten çok fazla değişmemesi, sadece daha verimli hale getirdik. Bu LLM’ler sihirli bir şekilde düşünmeyi öğrenmedi. Birdenbire daha verimli hale getirdik. ”
Neden DIY AI yapmalısın
Moussawi, New York Belediye Meclisi’nin güvenlik endişeleri nedeniyle işyerinde üçüncü taraf LLM’lerin kullanılmasını yasakladığını söyledi. Bu, kuruluşun bulut tabanlı abonelikler veya üçüncü taraf API’lerle gelen güvenlik endişelerinden kaçınan açık kaynak modellerini tercih ettiği anlamına gelir.
“İlk Llama modellerinin piyasaya sürülmesiyle, yerel kümemizde uğraşmaya başladık ve siz de yapmalısınız. Dizüstü bilgisayarınızda çalıştırılabilecek C ++ uygulamaları vardır. Şaşırtıcı derecede iyi bir çıkarım yapabilirsiniz ve konseyde yaptığımız bir kavram kanıtı geliştirmek için harika.
“Yapılacak ilk şey belgeleri bazı vektör veritabanlarına dizine eklemek. Bu, sisteminizi kurmak için arka ucunda bir kez yaptığınız iştir, bu nedenle oluşturduğunuz vektör veritabanına göre sorgulanmaya hazırdır.
“Ardından, belirli bir sorguyla ilgili belgeleri almak için bir boru hattı oluşturmanız gerekiyor. Fikir, bir istemi sormanız ve bu vektörü vektör veritabanınıza göre çalıştıracağınızdır – vektör veritabanınızda sakladığınız yasal notlar veya düz dil özetleri veya nereden kopyaladığınız diğer yasal belgelerinize bağlı olarak, ihtisas.
“Bu süreç, geri alma artırılmış üretim veya bez olarak bilinir ve modelinize çıktısının sınırlı olması gerektiğine dair kapsam sağlamanın harika bir yoludur. Bu, halüsinasyonları önemli ölçüde azaltır – ve vektör veritabanından yanıt verdiği belgeleri çektiği için kaynakları belirtebilir. ”
Bunların, Moussawi’nin modeliniz için korkuluklar sağladığını ve son kullanıcıya kaynakların alıntılandığı için çıktının meşru olduğundan emin olmanın bir yolunu verdiğini söylüyor.
Moussawi’nin ekibinin tam olarak yaptığı şey budur ve mesajı – Konsey Veri Bilimi ekibinin ilk GPU’sunun teslim edilmesini beklerken -: “Ne bekliyorsunuz?”