Yapay Zeka ve Makine Öğrenimi, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
Kilit Personelin İstifası Sonrası Komite Geldi ve Şirketi Güvenlik Konusunda Eleştirdi
Rashmi Ramesh (raşmiramesh_) •
28 Mayıs 2024
Salı günü OpenAI, teknoloji devi bir sonraki yapay zeka modelini eğitmeye başlarken tüm projeleri için “kritik” güvenlik ve güvenlik kararları alacak bir komite kurdu.
Ayrıca bakınız: Uygulamalarınızı Güvenceye Alın: Yapay Zeka Tarafından Oluşturulan Kod Risklerini Nasıl Önleyeceğinizi Öğrenin
Şirket, CEO Sam Altman ve yönetim kurulu üyeleri Adam D’Angelo, Nicole Seligman ve Bret Taylor’ın komiteye liderlik edeceğini söyledi. Ekip, önümüzdeki üç ay boyunca OpenAI’nin süreçlerini ve korumalarını değerlendirecek ve iyileştirmeler önerecek. OpenAI, hangi önerileri “emniyet ve güvenlikle tutarlı bir şekilde” benimsemeyi seçtiğine dair bir güncelleme paylaşacak.
Komite aynı zamanda hazırlık sorumlusu Aleksander Mądry; Lilian Weng, güvenlik sistemleri başkanı; John Schulman, hizalama bilimi başkanı; Matt Knight, güvenlik şefi; ve baş bilim insanı Jakub Pachocki. Şirket, aralarında eski Beyaz Saray siber güvenlik yetkilisi Rob Joyce’un da bulunduğu dış güvenlik ve teknik uzmanlara danışmayı planlıyor.
Komitenin oluşumu, OpenAI’nin yapay zeka sistemlerinin kötüye gitmesini önlemeye adanmış “süper hizalama” güvenlik ekibini dağıttığı bildirilmesinin ardından geldi.
Süper hizalama güvenliği ekibinin liderleri – OpenAI kurucu ortağı İlya Sutskever ve Jan Leike, politika araştırmacısı Gretchen Kreuger gibi güvenlik yaklaşımındaki uyumsuzluklar nedeniyle şirketten ayrıldılar.
Hem Sutskever hem de Leike, şirketin ve teknolojinin karşı karşıya olduğu uzun vadeli güvenlik risklerini ele almak için çalıştı ve Leike, bir sosyal medya gönderisinde OpenAI’nin süper hizalama güvenlik ekibine destek vermemesini eleştirdi. Leike, “Geçtiğimiz yıllarda güvenlik kültürü ve süreçleri parlak ürünlerin gerisinde kaldı” dedi. Sutskever, Kasım ayında Altman’ı OpenAI’den çıkaran ve beş gün sonra yeniden CEO olarak görevlendirilen yönetim kurulu üyeleri arasındaydı. Krueger, güvenlik endişelerini paylaştığı için diğer iki meslektaşından birkaç saat önce istifa etmeye karar verdiğini söyledi.