Yapay Zeka ve Makine Öğrenimi, Mevzuat ve Davalar, Yeni Nesil Teknolojiler ve Güvenli Geliştirme
‘Binlerce Zararlı Görüntü’ Oluşturmak İçin Azure OpenAI’de Korkuluklar Atlandı
Mathew J. Schwartz (euroinfosec) •
13 Ocak 2025
Microsoft, 10 kişiyi, Azure üretken yapay zeka araçlarına yerleştirilmiş korkulukları yıkarak “binlerce zararlı görüntü” oluşturan bir siber suç hizmeti oluşturmak veya kullanmakla suçlayan bir dava açtı.
Ayrıca bakınız: Makine Öğrenimi Sonuçlarına Daha Hızlı Ulaşın
Microsoft, sivil şikayetinde “Sanıklar, Microsoft’un Azure OpenAI Hizmeti’ni çalıştıran bilgisayarlara girmek için çalınan müşteri kimlik bilgilerini ve özel tasarlanmış yazılımları kullandı” dedi. “Sanıklar daha sonra Microsoft’un bilgisayarlarını ve yazılımlarını zararlı amaçlarla kullandılar.” Microsoft, çevrimiçi bir etki alanına ve üzerinde çalışan ters proxy hizmetine el koymak için mahkemeden izin istiyor; şirket, bunun iletişimleri Azure bulutuna yönlendirdiğini söyledi.
Cuma günü ABD’nin Virginia Doğu Bölgesi Bölge Mahkemesinde mühürlenen şikayet, isimsiz 10 “John Doe” şüphelisini hedef alıyor ve bunlardan üçünü “Microsoft tarafından sağlanan üretken yapay zeka hizmetlerinin güvenlik korkuluklarını atlatmak için özel olarak tasarlanmış araçlar” geliştirmekle suçluyor. ve diğerleri.” İddiaya göre bu kişiler, “Microsoft’un Azure OpenAI Hizmetini ve OpenAI’nin DALL-E görüntü oluşturma teknolojisini kullanarak yasa dışı zararlı görüntüler oluşturmak da dahil olmak üzere” yetkisiz ve yasa dışı amaçlarla yapay zeka korkuluklarını aşmak için bu yeteneği kullandılar.
Microsoft’un Dijital Suçlar Birimi genel danışman yardımcısı Steven Masada, Cuma günkü bir blog yazısında, “Microsoft, yabancı merkezli bir tehdit grubu grubunun, kamuya açık web sitelerinden alınan ifşa edilmiş müşteri kimlik bilgilerini kullanan karmaşık bir yazılım geliştirdiğini gözlemledi” dedi. “Microsoft, bunun ortaya çıkması üzerine siber suçluların erişimini iptal etti, karşı önlemler aldı ve gelecekte bu tür kötü niyetli faaliyetleri daha da engellemek için koruma önlemlerini geliştirdi.”
Microsoft, bireylerin oluşturduğu iddia edilen içerik türünü daha fazla açıklamadı. Şirket, geçen Temmuz ayından itibaren New Jersey ve Pensilvanya’daki kuruluşlar da dahil olmak üzere çok sayıda müşteriden “yasadışı hırsızlık, takip ve çalınan API anahtarlarının kullanımını” ortaya çıkardığını ve saldırganların bunları nasıl elde ettiğinin net olmadığını söyledi.
Dava, çeşitli içerikler üzerinde eğitilen makine öğrenimi modelleri oluşturmak ile veriler üzerinde eğitilen yapay zeka algoritmasının veya modelinin kötü amaçlarla veya hatalı veya tehlikeli bilgiler sağlamak için kullanılmasını engellemeye çalışmak arasında devam eden gerilimi vurguluyor.
Microsoft, bir dizi farklı güvenlik ve emniyet kontrolünden oluşan yapay zeka korkuluklarının, “yapay zeka modeli, platform ve uygulama seviyelerinde” birden fazla suiistimal türünü önlemek üzere tasarlandığını ve “şiddet içeren, yetişkinlere yönelik şiddet” oluşturmak için kullanılan bir yapay zeka modeline karşı savunmaları içerdiğini söyledi. veya siyasi içerik” veya gerçek bir bireyin yüzünün herhangi bir benzerliği (kamuya mal olmuş kişiler dahil) ve ayrıca metin istemlerinin ve resim yüklemelerinin politika ihlali işaretleri açısından kontrol edilmesi.
Buna rağmen davada, suçluların “çalıntı API anahtarları ve teknik engelleme önlemlerini” kullanarak bu korkulukları yıkmanın yollarını buldukları ve bunları “hizmet olarak hackleme planı” aracılığıyla başkalarına sattıkları iddia ediliyor.
Teknoloji devi, yasadışı hizmetin çalıntı API anahtarlarını kullanmanın ötesinde iki bileşeni içerdiğini söyledi. Bunlardan biri, “de3u” adlı, istemci tarafında erişilen bir araçtı. rentry.org/de3u. GitHub’daki aracın GitHub kaynak kodu deposu, aracı en son Temmuz 2024’te güncellenen “Ters proxy desteğine sahip bir DALL.E-3 ön uç” olarak tanımlıyor.
Microsoft, aracın “metin istemlerini kullanarak görüntüler oluşturmak için DALL-E gibi araçları kullanmak için özel olarak tasarlanmış özel bir düzen ve veri akışı uygulayan bir web uygulaması” olduğunu ve Azure AI platformundaki sözde güvenlik korkuluklarını aşmak için tasarlandığını söyledi.
Davada, “Davalıların de3u uygulamasının, yasal Azure OpenAI Hizmeti API isteklerini taklit etmek üzere tasarlanmış istekler göndermek için belgelenmemiş Microsoft ağ API’lerini kullanarak Azure bilgisayarlarıyla iletişim kurduğu” belirtildi. “Bu isteklerin kimliği, çalınan API anahtarları ve diğer kimlik doğrulama bilgileri kullanılarak doğrulanıyor.” Microsoft, hizmet yaratıcılarının bu aracı Azure’un metin girişi güvenlik kontrollerini test etmek ve başarılı bir şekilde tersine mühendislik yapmak için de kullanabildiklerini söyledi.
İkinci bileşen, “oai ters proxy” olarak adlandırılan ve tarafından barındırılan bir ters proxy hizmetiydi. aitism.netMicrosoft, proxy trafiğini yönetmek için Cloudflare tünellerini kullanarak “de3u yazılımından Microsoft’un sistemlerine iletişimleri işlemek ve yönlendirmek için özel olarak tasarlandığını” söyledi.
Suçlanan üç beyin muhtemelen Amerika Birleşik Devletleri dışında ikamet ediyor. Davanın hedef aldığı diğer yedi John Does, “zararlı içerik üretmek amacıyla” hizmet olarak hackleme planının sağladığı “altyapıyı ve teknolojiyi bilerek kullanan” kişiler olarak tanımlanıyor. Şirket, 10 kişiden herhangi birinin kimliğini veya iletişim bilgilerine henüz sahip olmadığını söyledi ancak geçen ayki hukuk şikayetine yanıt olarak bir yargıç, Microsoft’a bağlı web sitelerinden birine el koymasına izin veren bir mahkeme emri verdi. suç teklifi.
Masada, “Web sitesine el konulması, bu hizmetlerden nasıl para kazanıldığını çözmek ve bulduğumuz ek teknik altyapıyı bozmak için bu operasyonların arkasındaki kişiler hakkında önemli kanıtlar toplamamıza olanak tanıyacak” dedi. “Microsoft ayrıca soruşturmanın bulgularına dayanarak korkuluklarını güçlendirmeyi umuyor.”