Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Çalışma Kibar Dil, Kültür ve Yüksek Lisans Çıktısı Arasındaki İlişkiyi Gösteriyor
Rashmi Ramesh (raşmiramesh_) •
27 Şubat 2024
Konuşma ortağı kılığına giren cansız bir kod yığınına bile, kabalıktan dalkavukluğa kadar değişen koşullar altında büyük dil modellerinin performansını araştıran Japon araştırmacıları bulmak nazik olmakta fayda var.
Ayrıca bakınız: Web Semineri I Kurumsal Müşteri Kararlarına Entegre Bir Yaklaşımla Kuruluşunuzu Geleceğe Hazırlayın
Popüler sohbet robotları ChatGPT ve Gemini’ye sorarsanız, her ikisi de size kibarca ifade edilen istemlerin yanıtları üzerinde doğrudan bir etkisi olmadığını söyleyecektir. Sonuçta bilgisayarlar duyguları hissedemez.
Ancak Tokyo Waseda Üniversitesi’nden araştırmacılar, farklı dillerdeki yönlendirmelerin nezaketi ile yarım düzine büyük dil modelinin performansı arasındaki ilişkiyi inceleyen bir çalışmada bunun aksini bulduklarını söyledi. Kibar ama aşırı kibar olmayan istemler daha iyi yanıtlar alma eğilimindeyken, saygısız olanlar “LLM performansını önemli ölçüde etkileyebilir.”
Araştırmacılar, “Kaba yönlendirmeler, hata içeren nesiller, daha güçlü önyargılar ve bilgi eksikliği dahil olmak üzere model performansında bozulmaya yol açabilir” dedi. GPT-3.5, GPT-4 ve Llama 2-70B de dahil olmak üzere altı sohbet robotu üzerinde çalıştılar; özetleme, dil anlama kriterleri ve kalıplaşmış önyargı tespiti görevlerinde her biri İngilizce, Japonca ve Çince olarak sekiz komut verdi.
Yüksek Lisans’lar duyarlı değildir ancak sorgu yanıtlarına yansıyan iletişim nüansları konusunda kendilerini eğitirler.
Araştırmacılar, “İnsan iletişiminde kibar dil genellikle daha fazla uyumluluk ve etkililik sağlarken, kabalık tepki kalitesini etkileyerek tiksinmeye neden olabilir. Yüksek Lisans eğitimlerinin insan iletişim özelliklerini yansıttığını ve bunların insanın kültürel normlarıyla uyumlu olduğunu öne sürdüğünü düşünüyoruz” dedi.
OpenAI’nin ChatGPT’sindeki bir soruya yanıt olarak sohbet robotu, kibar yönlendirmelerin “aramızda saygılı ve işbirliğine dayalı bir etkileşimi geliştirmeye yardımcı olabileceğini ve bunun da dolaylı olarak aldığınız yanıtların kalitesini artırabileceğini” söyledi. Nezaket ayrıca daha net iletişime ve daha etkili aktarıma da katkıda bulunabilir. niyetleriniz veya isteklerinizden dolayı.”
Google’ın Gemini’si çalışmanın bir parçası değil ancak şu anda kullanımda olan en popüler sohbet robotlarından biri. Gemini, nezaketin tepkisini etkileyebileceğini kabul etti. Şöyle diyordu: “Duygularla programlanmamış olsam da, kibar bir dil kullanmak yanıtımın tonunu incelikle etkileyebilir, daha yardımsever ve saygılı görünmesini sağlayabilir. Bu, daha olumlu bir kullanıcı deneyimi yaratabilir.”
Google ve OpenAI, yorum talebine hemen yanıt vermedi.
Chatbotlara karşı nazik olmak, insan kullanıcılarını bir yere götürebilir ama dalkavukluk onları hiçbir yere götürmez.
Araştırmacılar, “Kaba yönlendirmeler genellikle düşük performansla sonuçlanır, ancak aşırı dalkavukluk mutlaka hoş karşılanmaz” dedi. LLM’ler dil anlama kıyaslama görevinde yüksek hassasiyet gösterse bile, aşırı derecede kaba veya gurur verici yönlendirmeler, beklenenden daha uzun veya çok daha kısa yanıtlarla sonuçlandı. Bazı LLM’ler, yönlendirmelerin son derece kaba olması durumunda önyargı tespit görevine yanıt vermeyi reddetti, ancak ortalama olarak araştırma, orta düzeyde nezaketin nispeten daha iyi sonuçlar verdiğini gösterdi.
Yüksek Lisans’lar eğitim aldıkları verilerin nüanslarını yansıtma eğiliminde olduğundan, kültürel bağlam ve dil nüansları da bir rol oynamaktadır. Nezaket konusundaki hoşgörü seviyeleri her dile göre değişiyordu ve kültürel özellikleri yansıtan benzersiz hassasiyetler gösteriyordu.
İngilizce, Çince ve Japoncada kibarlığın ifade edilmesi, değişen düzeylerde karmaşıklık ve toplumsal çıkarımlar sunar ve bu, muhtemelen bu kültürel nüanslara dayanan veriler üzerinde eğitim almış yüksek lisans öğrencilerinin işleme yeteneklerini etkiler. Araştırmacılar, LLM geliştiricilerinin bu nedenle LLM’leri tasarlarken kültürel hassasiyetleri dikkate almaları ve kültürel açıdan bilinçli veri kümeleri ve model eğitim süreçlerini kullanmaları gerektiğini söyledi.