Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Hazırlık Ekibi Firmanın Yapay Zeka Modellerindeki Mevcut ve Gelecekteki Tehlikelere Karşı Uyarıda Bulunacak
Rashmi Ramesh (raşmiramesh_) •
19 Aralık 2023
OpenAI Pazartesi günü, geliştirdiği “giderek daha güçlü” yapay zeka modellerinin oluşturduğu “felaket risklerini” değerlendirmeye ve bunlara karşı koruma sağlamaya yardımcı olacağını söylediği bir çerçeve yayınladı.
Ayrıca bakınız: BT ve Güvenlikte Yapay Zekanın Geleceği Nedir?
ChatGPT yapımcısının hazırlık ekibi, kötü aktörlerin bunları kimyasal ve biyolojik silahlar yapmak, kötü amaçlı yazılım yaymak veya sosyal mühendislik saldırıları gerçekleştirmek için kullanmasına izin vermek gibi yapay zeka modellerinin yetenekleriyle tehlike işaretleri görürse, teknolojinin kullanımını izlemeye ve uyarıları paylaşmaya çalışıyor. . Şirket, 27 sayfalık hazırlık çerçevesinde, mevcut tehlikelerin ötesinde ortaya çıkan riskleri ve “varsayımsal senaryolardan somut ölçümlere ve veriye dayalı tahminlere kadar” izleyeceğini söyledi.
OpenAI, “Yapay zekadan kaynaklanan felaket risklerine ilişkin bilimsel çalışmanın, olmamız gereken noktanın çok gerisinde kaldığına inanıyoruz” dedi. “Yüz milyarlarca dolarlık ekonomik hasara veya birçok kişinin ciddi şekilde zarar görmesine veya ölümüne yol açabilecek riskleri – buna varoluşsal risk de dahil ancak bunlarla sınırlı olmamak üzere” felaket olarak sınıflandırıyor.
Yapay zekanın potansiyel tehlikeleri hakkında, Ekim ayında gelecekteki yapay zeka sistemlerinin insan direktiflerine “itaat numarası yapmayı öğrenmesi” veya “güvenlik hedeflerimizdeki zayıflıklardan faydalanması ve kapanması” öncesinde sınırlar getirilmesi çağrısında bulunanlar gibi önde gelen teknoloji liderleri de dahil olmak üzere pek çok tartışma yapıldı. mekanizmalar.” Yaygın olarak bilinen Yoshua Bengio ve Geoffrey Hinton’un da aralarında bulunduğu 24 akademisyen ve uzman, bu tür yapay zeka sistemlerinin, iletişim, medya, hükümet ve tedarik zincirlerini destekleyen bilgisayar sistemlerini kontrol etmek için siber güvenlik açıklarını yerleştiren ve kullanan solucan benzeri enfeksiyonlar yoluyla algoritmalarını yayarak insan müdahalesini önleyebileceğini yazdı. “Yapay zekanın vaftiz babaları” olarak (bkz: Uzmanlar, Yapay Zekanın ‘İtaat Taklidi’ Yapabilmesi İçin Önlem Alınmasını İstiyor).
Çerçeve, siber güvenlik, ikna, model özerkliği ve kimyasal, biyolojik, radyolojik ve nükleer tehditler olmak üzere dört risk kategorisini içerecek bir matris yaklaşımıdır. Azaltımların uygulanmasından önce ve sonra her yapay zeka modelini düşük, orta, yüksek veya kritik bir dereceyle puanlayacak. Orta veya daha düşük risk puanına sahip modeller devreye alınacak, ancak daha yüksek risk puanına sahip modeller uygulanmayacaktır.
OpenAI’nin CEO’su günlük kararları verecek, ancak şirketin yönetim kurulu risk bulgularına erişebilecek ve şefin kararını veto etme yetkisine sahip olacak.
Ekip ayrıca üçüncü taraf denetimi gerçekleştirmek ve güvenlik tatbikatlarını yönetmek için OpenAI’nin Güvenilir Yapay Zeka ekibiyle de koordinasyon sağlayacak.
MIT AI profesörü Aleksander Mądry liderliğindeki büyüyen hazırlık ekibi Ekim ayında kuruldu ve şirketin güvenlik sorunları üzerinde çalışan üç ekibinden biri. Diğerleri arasında, şu anda piyasada bulunan araçlardaki ırkçı önyargı gibi riskleri ele almaya çalışan güvenlik ekibi ve yetenekleri insanlarınkini geçebilecek gelecekteki sistemlerin risklerini azaltmaya çalışan süper hizalama ekibi yer alıyor.
Hazırlık çerçevesi, şirketin önyargıları, halüsinasyonları ve kötüye kullanımı azaltmaya yönelik yatırımların yanı sıra Biden yönetimine diğer 14 teknoloji şirketiyle birlikte güvenli ve güvenli bir ortam inşa etmek için verdiği gönüllü taahhüdü yerine getirmenin bir yolunu da içeren şirketin genel güvenliğe yaklaşımının bir parçasıdır. güvenilir yapay zeka ekosistemi (bkz: IBM, Nvidia ve Diğerleri ‘Güvenilir’ Yapay Zeka Geliştirmeyi Kararlaştırdı).
Şirket ayrıca Temmuz ayında Google ve Microsoft gibi diğer büyük teknoloji devleriyle de ortaklık kurarak yapay zeka gelişimini düzenlemeye yardımcı olacak bir endüstri gözlemci grubu oluşturdu ancak açık inovasyonu teşvik etmek isteyen 50’den fazla şirketin yakın zamanda oluşturduğu bir ittifakın parçası değil. endüstri.