Yapay Zeka ve Makine Öğrenmesi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Yapay Zekayı Sentetik Verilerle Eğitmek Model Çöküşüne Yol Açabilir
Rashmi Ramesh (raşmiramesh_) •
24 Eylül 2024
Google’ın Bard’ı, James Webb Uzay Teleskobu’nun “kendi güneş sistemimizin dışındaki bir gezegenin ilk fotoğraflarını çektiğini” iddia etti, Microsoft’un Bing’i İsrail-Hamas çatışmasında ateşkes sağlandığını duyurdu ve AI Overviews’ın bir zamanlar kullanıcılarına pizzalarına tutkal sürmelerini tavsiye ettiği biliniyor.
Ayrıca bakınız: Copilot destekli Windows 11 Pro ile İş Başarınızı Hızlandırın
Yapay zekanın gerçekle olan gergin ilişkisi, yani halüsinasyonlar, kolayca daha da kötüleşebilir.
Şirketler gerçek dünya verilerinden tükendikçe, yapay zeka modellerini eğitmek için gerçekleri kullanmak zorlaşıyor. Yapay zeka tarafından üretilen sentetik veriler uygulanabilir bir yedek olarak öne sürülüyor, ancak uzmanlar bunun makine öğrenimi modellerinin en büyük sorunlarından biri olan halüsinasyonları daha da kötüleştirebileceğini söylüyor.
Bir yapay zeka modelinin doğruluğu ve güvenilirliği eğitim verilerine bağlıdır.
Rice Üniversitesi ve Stanford Üniversitesi’nin bu yıl yayınladığı bir çalışmaya göre, eğitim sırasında sentetik verilere aşırı güvenmek AI modellerinin “ÇILDIRMASINA” neden olabilir. Araştırmacılar, “Yeterli taze gerçek veri olmadan, üretken modellerin kalitesinin veya çeşitliliğinin giderek azalmasına mahkumdur” ve bunun sonucunda kendi kendini tüketen bir döngü oluşur, dediler. Bu bulguya Model Otofaji Bozukluğu veya MAD adını verdiler ve bunu sığırlara diğer sığırların enfekte kalıntılarını yedirmekten kaynaklanan deli dana hastalığına benzettiler.
Sentetik veriler ideal olarak gerçek verilerden ayırt edilemez olmalıdır, ancak öğrenme asla en iyi olmadığı için sentetik verilerde model, veri ve öğrenme rejimi seçimiyle ortaya çıkan küçük önyargılar vardır, diyor Google DeepMind’da bir bilim insanı olan Ilia Shumailov. Sonuç olarak, bu hatalar genel veri ekosistemine sokuluyor ve diğer modeller tarafından da eğitimde kullanılıyor, diyor Information Security Media Group’a.
Yapay zeka eğitim verileri geleneksel olarak hacim, hız ve çeşitlilik ile tanımlanır, ancak modern bağlam ayrıca doğruluk ve gizliliği de içerir. Herhangi bir öğenin yokluğu model performans kalitesini tehlikeye atar. Yapay zeka tarafından oluşturulan sentetik verilerle, herhangi bir öğeyi ölçmek için genel olarak kabul görmüş bir kriter yoktur.
İnternetteki “gerçek dünya” verileri bile artık yapay zeka tarafından üretilen verilerle bulanıklaştırılıyor ve bu da durumu daha karmaşık hale getiriyor. Shumailov, son büyük modellerin öğrenilmesinin tüm web verileri üzerinde eğitim içerdiğini, ancak son iki yılda internetin bazı bölümlerinin makine öğrenimi modelleri tarafından yazıldığını söyledi. Bu, modellerin önce bir veri kaynağı olarak web’den öğrendiği ve ardından bilgileri geri yazdığı bir geri bildirim döngüsü oluşturur. Oxford Üniversitesi araştırmacılarıyla birlikte yayınladığı bir çalışma, yinelemeli eğitim modellerinin sonunda model çöküşü yaşadığını gösteriyor; bu da yapay zeka modelinin kendi gerçeklik projeksiyonuyla zehirlendiği anlamına geliyor. Shumailov, “Önce varyans azalmaları yaşıyorlar ve daha sonra hata yayılımı ve fayda kaybı yaşıyorlar” diye ekledi.
Yapay zeka tarafından üretilen içeriklerle eğitilen yapay zeka modellerinin bozulması, önyargılar ve hatalarla dolu, giderek daha benzer ve daha az çeşitli çıktıların ortaya çıkmasına neden oluyor.
Shumailov, makine öğrenimindeki ilerlemelerin genellikle donanımdaki gelişmelere ve daha yüksek kaliteli verilere bağlandığını, ancak veri kalitesinin düşmesiyle birlikte makine öğrenimindeki ilerlemelerin yavaşlayabileceğini söyledi.
“Sentetik veriler doğru şekilde kullanırsak harika bir araçtır,” dedi. Şu anda kullanılan sentetik verilerin kalitesinin uzun vadeli hatalara yol açtığını söyledi ve etkisinin yalnızca çalışmasında açıklandığı gibi yinelemeli bir eğitim kurulumunda olacağı uyarısını ekledi. “Model çöküşünün etkisini sınırlayacak başka eğitim rejimlerinin de mevcut olduğundan eminim. Şu anda topluluğun asıl sorusu bunları keşfetmek,” dedi.