Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Dilbilim Uzmanı, NYC’nin Yeni Chatbot’unun Halüsinasyonlu LLM’lerin Düzeltilemeyeceğini Söyledi
Rashmi Ramesh (raşmiramesh_) •
10 Nisan 2024
İşverenler artık cinsel tacizden şikayet eden bir personeli işten çıkarabilir, çalışanlarının bahşişlerinden bir pay alabilir ve müşterilere fareler tarafından kemirilen peynirleri servis edebilir – en azından New York City’nin yapay zeka destekli sohbet robotunun yardım amaçlı sunduğu tavsiyeye göre küçük işletme sahipleri şehrin bürokratik labirentinde geziniyor.
Ayrıca bakınız: 2024’te APAC için Temel Güvenlik Zorlukları ve Araç Geliştirme Yaklaşımları
Microsoft Azure destekli MyCity’deki halüsinasyonlar hiç de nadir değil. Yapay zeka sohbet robotları, yanıltıcı ve yanlış bilgileri %20 oranında gerçekmiş gibi sunuyor. Bu Microsoft için bir ilk bile değil: Şirket, 2016 chatbot Tay’ı piyasaya sürüldükten saatler sonra, eski adıyla Twitter olan X’ten gelen eğitim verilerine dayanarak zararlı stereotipler yaymaya başladığında kapattı. Yakın zamanda bir federal yargıç, ChatGPT tarafından oluşturulan, var olmayan davalarla dolu hukuki araştırmaları sundukları için iki avukata 5.000 dolar yaptırım ve para cezası verdi.
New York Belediye Başkanı Eric Adams, yönetimin chatbot uygulamasını savundu ve şehrin sorunları tespit edip çözmeyi ve “dünyadaki en iyi chatbot sistemine” sahip olmayı hedeflediğini söyledi. Adams, sohbet robotunun yalnızca “bazı alanlarda hatalı” olması nedeniyle belediyenin aracı hükümetin web sitesinde çalışır durumda bırakmayı seçtiğini söyledi.
“Teknolojiyi her kullandığınızda, sorunları ortadan kaldırmak için onu gerçek ortama koymanız gerekir. Laboratuvarda yaşayamazsınız. Laboratuvarda sonsuza kadar kalamazsınız. ‘Ben’ demeye istekli olmalısınız. Adams geçen hafta gazetecilere verdiği demeçte, “Mükemmelliğin bir sonraki seviyesine ulaşmak için onu gerçek evrene koyacağım” dedi.
Dilbilim profesörü ve Washington Üniversitesi Hesaplamalı Dilbilim Laboratuvarı yöneticisi Emily Bender, Information Security Media Group’a düzeltmenin mümkün olmadığını söyledi. “Yüksek Lisans odaklı sohbet robotlarından uzaklaşmadıkları sürece bunlar düzeltilebilecek hatalar değil, daha ziyade teknoloji ile görev arasında temel bir uyumsuzluktur. Sorunlar çözülemez, ancak NYC’nin sistemi çok daha sıkı bir şekilde test etmesi gerekirdi. pilotluk yapmadan önce, sonra yapmamaya karar verdim” dedi.
Chatbotların yalnızca bir parçası olduğu üretken yapay zeka teknolojisi önümüzdeki yıllarda patlama yapacak. McKinsey Global Institute, bunun küresel ekonomiye 4,4 trilyon dolar katkı sağlayacağını tahmin ediyor. Ancak halüsinasyonlar gibi sorunları ortadan kaldırmak kolay, hatta olası bir düzeltmeyi gerektirmez.
Bunun nedeni, dil modeli odaklı sohbet robotlarının bir şeyleri telafi etmek için tasarlanmış olmasıdır. Bender, sistemden başka bir şey istiyorsak (örneğin, doğru yanıt), tamamen farklı bir sistem türüne ihtiyacımız olduğunu söyledi. “Dil modeli, metindeki sözcük biçimlerinin dağılımını modellemeye yönelik bir sistemdir. Metin oluşturmak için kullanıldığında yalnızca şu soruyu yanıtlar: “Bundan sonra kullanılacak makul sözcük nedir?” Bu sözcük dizileri toplandığında doğru ve alakalı olarak yorumladığımız bir şey, bu yalnızca şans eseridir” dedi ISMG’ye.
NYC sohbet robotu, “ara sıra yanlış, zararlı veya önyargılı bilgiler üretebileceğini” ve yanıtlarının yasal tavsiye olarak değerlendirilmemesi gerektiğini belirten bir sorumluluk reddi beyanı içerir. Uzmanlar, yasal uyarıya rağmen belediyenin vatandaşlara verdiği bilgilerden hâlâ sorumlu olduğunu söyledi.
Bender, AI sistemlerinin kritik, halka açık uygulamalarla arayüz oluşturması durumunda etkinin çok büyük olabileceğini söyledi. Geçen yıl ABD’de Ulusal Yeme Bozuklukları Derneği yardım hattını bir chatbot ile değiştirdi. Bu sohbet robotu, yardıma ihtiyacı olan insanlara daha fazla düzensiz yeme davranışı sergilemeleri konusunda tavsiyede bulundu.
Bender, “Şirketler ve devlet kurumları, dil modeli odaklı sohbet robotlarını yalnızca, sohbet robotunun icat ettiği her şeyin arkasında durmaktan mutlu olacakları durumlarda kullanmalıdır, ki bu temelde böyle bir durum söz konusu değildir” dedi. Tek etkili seçenek, paylaşmaları gereken bilgiyi gerçekten temsil eden sistemler oluşturmak ve ardından bu anlamsal temsillere dayalı yanıtlar üretmektir. Bu tür sistemlerin mutlaka amaca yönelik olarak oluşturulduğunu ve eldeki göreve göre uyarlandığını ve bunun bir zayıflık değil, bir güç olduğunu söyledi.
Ekonomik kalkınma, konut ve iş gücü gelişiminden sorumlu belediye başkan yardımcısı Maria Torres Springer, New York şehri yönetiminin projenin bir pilot program olduğu ve “bundan ders alma” niyeti konusunda “çok açık” olduğunu söyledi.
“Bu, sohbet robotları veya teknolojik dağıtımlar tarihinde geliştirmemiz gereken ilk sohbet robotu değil. Bunu tüm yapay zeka türlerinde görüyoruz” dedi. Şehir “teknolojiye parmağını sallayıp ‘Ah, bu çok zor’ diyemez, çünkü bu gerileme olur ve bizden modern çağa gelmemizi ve teknolojide giderek daha akıllı hale gelerek onlara yardım etmemizi bekleyen New Yorklular için bir haksızlık olur” “
Ancak Bender, eğer şehrin hedefi 2000 web sayfası düzenlemeye güvenilir işaretler sağlamaksa, sadece ilgili belge koleksiyonuna işaret edecek bir arama arayüzüne ihtiyacı olduğunu söyledi. The Markup’ın soruşturmasına atıfta bulunarak, “Kurdukları sohbet robotu, bağlantı sağlamasına rağmen, aynı zamanda bu bağlantılarda ne olduğuna dair yanıltıcı ‘özetler’ de sağladı; halkı etkili bir şekilde yanlış bilgilendirdi ve insanları yasa dışı şeyler yapmaya teşvik etti” dedi. halüsinasyon sorunlarını ilk kez bildirdi.
DeepMind kurucu ortağı Mustafa Süleyman’ın yapay zeka halüsinasyonlarının gelecek yıl “büyük ölçüde ortadan kaldırılacağını” söylediği bildirildi. Bender, “Bu tahmin tamamen gerçekçi değil, çünkü yüksek lisanslar uydurmak için tasarlandı” dedi.