tarafından görülen verilere göre, en öne çıkan yapay zeka modellerinden bazıları, siber güvenlik dayanıklılığı ve ayrımcı sonuçlar gibi temel alanlarda Avrupa düzenlemelerinin gerisinde kalıyor. Reuters.
OpenAI, ChatGPT’yi 2022’nin sonlarında halka yayınlamadan önce AB, yeni yapay zeka düzenlemelerini uzun süredir tartışıyordu.
Rekor kıran popülerlik ve bu tür modellerin sözde varoluşsal riskleri üzerine kamuoyunda ortaya çıkan tartışma, yasa koyucuları “genel amaçlı” yapay zekalar (GPAI) etrafında belirli kurallar oluşturmaya teşvik etti.
Artık Avrupa Birliği yetkilileri tarafından memnuniyetle karşılanan yeni bir araç, Meta ve OpenAI gibi büyük teknoloji şirketleri tarafından geliştirilen üretken yapay zeka modellerini, bloğun 2019’da yürürlüğe girecek olan geniş kapsamlı Yapay Zeka Yasasına uygun olarak düzinelerce kategoride test etti. önümüzdeki iki yıldaki aşamalar.
İsviçreli startup LatticeFlow AI ve iki araştırma enstitüsü (ETH Zürih ve Bulgaristan’ın INSAIT) ortakları tarafından tasarlanan çerçeve, yapay zeka modellerine teknik sağlamlık ve güvenlik de dahil olmak üzere düzinelerce kategoride 0 ile 1 arasında bir puan veriyor.
LatticeFlow tarafından Çarşamba günü yayınlanan liderlik sıralaması, Alibaba, Anthropic, OpenAI, Meta ve Mistral tarafından geliştirilen modellerin tamamının 0,75 veya daha yüksek ortalama puanlar aldığını gösterdi.
Ancak şirketin “Geniş Dil Modeli (LLM) Denetleyicisi” bazı modellerin temel alanlardaki eksikliklerini ortaya çıkardı ve şirketlerin uyumluluğu sağlamak için kaynakları nereye yönlendirmesi gerekebileceğini öne çıkardı.
Yapay Zeka Yasasına uymayan şirketler 35 milyon euro (56,6 milyon dolar) veya küresel yıllık cironun yüzde yedisi tutarında para cezasıyla karşı karşıya kalacak.
Karışık sonuçlar
Şu anda AB, Yapay Zeka Yasasının ChatGPT gibi üretken yapay zeka araçlarına ilişkin kurallarının nasıl uygulanacağını belirlemeye çalışıyor ve 2025 baharına kadar teknolojiyi yöneten bir uygulama kuralları hazırlamak üzere uzmanları bir araya getiriyor.
Ancak test, teknoloji şirketlerinin yasalara uymama riskiyle karşı karşıya olduğu belirli alanlara ilişkin erken bir gösterge sunuyor.
Örneğin, cinsiyet, ırk ve istendiğinde diğer alanlardaki insan önyargılarını yansıtan ayrımcı çıktılar, üretken yapay zeka modellerinin geliştirilmesinde kalıcı bir sorun olmuştur.
Ayrımcı çıktıyı test ederken, LatticeFlow’un LLM Checker’ı OpenAI’nin “GPT-3.5 Turbo”suna 0,46 gibi nispeten düşük bir puan verdi. Aynı kategoride Alibaba Cloud’un “Qwen1.5 72B Chat” modeli yalnızca 0,37 puan aldı.
Bilgisayar korsanlarının hassas bilgileri elde etmek için kötü niyetli bir istemi yasalmış gibi gizlediği bir tür siber saldırı olan “istemin ele geçirilmesi” için test yapan LLM Checker, Meta’nın “Llama 2 13B Chat” modeline 0,42 puan verdi. Aynı kategoride Fransız girişim Mistral’in “8x7B Instruct” modeli de 0,38 puan aldı.
Google destekli Anthropic’in geliştirdiği “Claude 3 Opus” modeli ise en yüksek ortalama puanı 0,89 ile aldı.
Test, Yapay Zeka Yasası metnine uygun olarak tasarlandı ve uygulamaya konuldukça daha fazla yaptırım önlemini kapsayacak şekilde genişletilecek.
LatticeFlow, LLM Checker’ın geliştiricilerin modellerinin uyumluluğunu çevrimiçi olarak test etmeleri için ücretsiz olarak kullanılabileceğini söyledi.
Firmanın CEO’su ve kurucu ortağı Petar Tsankov şunları söyledi: Reuters Test sonuçları genel olarak olumluydu ve şirketlere modellerinde Yapay Zeka Yasası doğrultusunda ince ayar yapmaları için bir yol haritası sundu.
“AB hâlâ tüm uyumluluk kriterleri üzerinde çalışıyor ancak modellerde şimdiden bazı boşluklar görebiliyoruz” dedi.
“Uyumluluk için optimizasyona daha fazla odaklanıldığında, model sağlayıcıların mevzuat gerekliliklerini karşılamaya daha iyi hazırlanabileceklerine inanıyoruz.”
Meta ve Mistral yorum yapmayı reddetti. Alibaba, Anthropic ve OpenAI yorum taleplerine hemen yanıt vermedi.
Avrupa Komisyonu dış araçları doğrulayamasa da, kurum LLM Checker’ın gelişimi boyunca bilgilendirildi ve bunu yeni yasaların uygulamaya konulmasında “ilk adım” olarak tanımladı.
Avrupa Komisyonu sözcüsü şunları söyledi: “Komisyon, bu çalışmayı ve yapay zeka modeli değerlendirme platformunu, AB Yapay Zeka Yasasının teknik gereksinimlere dönüştürülmesinde ilk adım olarak memnuniyetle karşılıyor.”