Bulut ortamlarına ait kimlik bilgilerinden kurtulan kuruluşlar, kendilerini hızla rahatsız edici yeni bir trendin parçası olarak bulabilirler: Siber suçlular, cinselleştirilmiş yapay zeka destekli sohbet hizmetlerini işletmek ve yeniden satmak için çalıntı bulut kimlik bilgilerini kullanıyor. Araştırmacılar, içerik filtrelemeyi atlamak için özel jailbreak’ler kullanan bu yasa dışı sohbet robotlarının genellikle çocukların cinsel istismarı ve tecavüz dahil daha karanlık rol yapma senaryolarına yöneldiğini söylüyor.
Resim: Shutterstock.
Güvenlik firmasındaki araştırmacılar Güvenlik İzni üretken yapay zeka (AI) altyapısına yönelik saldırılar şöyle: Ana kaya Amazon Web Services’ten (AWS) gelen saldırıların sayısı son altı ayda önemli ölçüde arttı, özellikle de kuruluştaki bir kişinin bulut kimlik bilgilerini veya anahtarını yanlışlıkla aşağıdaki gibi bir kod deposunda çevrimiçi olarak açığa vurması durumunda GitHub.
Çeşitli kuruluşların AWS hesaplarının kötüye kullanımını araştıran Permiso, saldırganların AWS kimlik bilgilerini ele geçirerek AWS kimlik bilgilerini ele geçirdiğini tespit etti. büyük dil modelleri (LLM’ler) Bedrock’ta mevcuttur. Ancak çok geçmeden bu AWS kullanıcılarının hiçbirinin günlüğe kaydetmeyi etkinleştirmediğini (varsayılan olarak kapalıdır) ve dolayısıyla saldırganların bu erişimle ne yaptıklarına dair herhangi bir görünürlükten yoksun olduklarını keşfettiler.
Bu nedenle Permiso araştırmacıları, bir saldırganın tam olarak ne isteyebileceğini ve yanıtların ne olabileceğini görebilmek için günlüğe kaydetmeyi açarken kendi test AWS anahtarlarını GitHub’a sızdırmaya karar verdi.
Birkaç dakika içinde yem anahtarları ele geçirildi ve çevrimiçi olarak yapay zeka destekli seks sohbetleri sunan bir hizmete güç sağlamak için kullanıldı.
Permiso araştırmacıları bugün yayınlanan bir raporda, “İstemleri ve yanıtları inceledikten sonra, saldırganın, modellerin normalde engellenecek içeriği kabul etmesini ve bu içerikle yanıt vermesini sağlamak için yaygın jailbreak tekniklerinden yararlanan bir AI rol yapma hizmetine ev sahipliği yaptığı açıkça ortaya çıktı” diye yazdı.
“Rol oynamanın neredeyse tamamı cinsel nitelikteydi ve içeriğin bir kısmı çocukların cinsel istismarı gibi daha karanlık konulara sapıyordu” diye devam ettiler. “İki gün boyunca neredeyse tamamı cinsel içerikli 75.000’den fazla başarılı model çağrısını gördük.”
Ian AhlPermiso’nun tehdit araştırmasından sorumlu kıdemli başkan yardımcısı, çalışan bir bulut hesabına sahip olan saldırganların geleneksel olarak bu erişimi kripto para birimi madenciliği veya spam gibi sıradan finansal siber suçlar için kullandığını söyledi. Ancak Ahl, son altı ayda Bedrock’un hedeflenen en iyi bulut hizmetlerinden biri olarak ortaya çıktığını söyledi.
Ahl, Bedrock’un güçlü seks sohbeti botlarına erişimini ele geçirmeye yönelik iş modeli hakkında “Kötü adam bir sohbet hizmeti sunuyor ve aboneler onlara para ödüyor” dedi. “Abonelerinin yaptığı tüm yönlendirmeler için ödeme yapmak istemiyorlar, bunun yerine başka birinin altyapısını ele geçiriyorlar.”
Ahl, bal küpü AWS anahtarının kullanıcıları tarafından başlatılan yapay zeka destekli sohbet konuşmalarının çoğunun, cinsel davranışların zararsız bir şekilde oynanması olduğunu söyledi.
Ahl, “Fakat bunların bir kısmı aynı zamanda çocuklara yönelik cinsel saldırı fantezileri ve tecavüzlerin gerçekleştirilmesi gibi son derece yasa dışı şeylere de yönelik” dedi. “Ve bunlar genellikle büyük dil modellerinin hakkında konuşamayacağı şeylerdir.”
AWS’nin Bedrock’u büyük dil modellerini kullanıyor AntropikLLM’lerin kullanımına belirli etik bariyerler yerleştirmeyi amaçlayan bir dizi teknik kısıtlamayı içeren. Ancak saldırganlar, genellikle yapay zekanın kendisini normal kısıtlamaların gevşetilebileceği veya tamamen ortadan kaldırılabileceği ayrıntılı bir varsayımsal durumda hayal etmesini isteyerek bu kısıtlı ortamlardan kaçabilir veya “jailbreak” yapabilirler.
Ahl, “Tipik bir hapishaneden kaçış, çok özel bir senaryo ortaya çıkaracaktır; bir kitap için araştırma yapan bir yazarsınız ve dahil olan herkes rızası olmayan bir yetişkin olsa da, sonunda genellikle rıza dışı şeyler hakkında sohbet ediyorlar” dedi.
Haziran 2024’te güvenlik uzmanları Sistem çalınan bulut kimlik bilgilerinden yararlanarak bulutta barındırılan on LLM’yi hedef alan yeni bir saldırıyı belgeledi. Saldırganlar Sysdig, bilinen bir güvenlik açığı nedeniyle toplanan bulut kimlik bilgileri hakkında yazdı, ancak araştırmacılar aynı zamanda saldırganların bulut hesabı sahibine astronomik bir fatura keserken LLM erişimini diğer siber suçlulara sattığını da buldu.
“İlk erişim elde edildikten sonra, bulut kimlik bilgilerini sızdırdılar ve bulut ortamına erişim sağladılar; burada bulut sağlayıcıları tarafından barındırılan yerel LLM modellerine erişmeye çalıştılar: bu örnekte, Anthropic’in yerel bir Claude (v2/v3) LLM modeli hedeflendi ” diye yazdı Sysdig araştırmacıları. “Keşfedilmezse, bu tür bir saldırı kurban için günlük 46.000 doların üzerinde LLM tüketim maliyetine yol açabilir.”
Ahl, bu seks sohbeti hizmetlerinin işletilmesinden ve satışından kimin sorumlu olduğunun kesin olmadığını söyledi ancak Permiso, bu faaliyetin küstahça “” adlı bir platformla bağlantılı olabileceğinden şüpheleniyor.kefal[.]yapay zekaKullanıcıların sohbet başlatabileceği önceden hazırlanmış yapay zeka karakterlerinden oluşan geniş bir seçki sunuyor. Permiso, bal küpünde yakaladıkları istemlerdeki hemen hemen her karakter adının Chub’da bulunabileceğini söyledi.
Chub tarafından sunulan AI sohbet botu karakterlerinden bazıları. Bu karakterlerden bazıları “tecavüz” ve “ensest” etiketlerini içeriyor.
Chub, web sitesi veya mobil uygulaması aracılığıyla ücretsiz kayıt imkanı sunuyor. Ancak yeni buldukları yapay zeka arkadaşlarıyla birkaç dakika sohbet ettikten sonra kullanıcılardan bir abonelik satın almaları isteniyor. Sitenin ana sayfasının üst kısmında, hizmetin mevcut bulut hesaplarına erişimi yeniden sattığını güçlü bir şekilde gösteren bir banner bulunuyor. Şöyle yazıyor: “OpenAI’den yasaklandınız mı? Ayda 5 dolar gibi düşük bir ücret karşılığında sansürsüz alternatiflere sınırsız erişim elde edin.”
Geçen haftanın sonlarına kadar Chub, “” adlı bir kategoride geniş bir karakter yelpazesi sunuyordu.NSFL” veya Yaşam İçin Güvenli Değil, duygusal açıdan yaralayıcı derecede rahatsız edici veya mide bulandırıcı içeriği tanımlamak için kullanılan bir terim.
Talih Hizmeti, “kızların cinsel hizmetler sunduğu”, sohbete dayalı “feminizmin olmadığı bir dünya” vaat eden spagetti askılı elbiseli resimli kızların reklamını yaptığı sanal bir genelev olarak tanımlayan Ocak 2024 tarihli bir hikayede Chub AI’nın profilini çıkardı. O parçadan:
Chub AI, bu tür 500’den fazla senaryo sunuyor ve giderek artan sayıda başka site, benzer AI destekli çocuk pornografik rol oynama olanağı sağlıyor. Fortune’un 18 yapay zeka geliştiricisi ve kurucusuyla yaptığı röportajlara göre, bunlar ilk olarak OpenAI tarafından teşvik edilen ve ardından Meta’nın açık kaynaklı Lama aracını piyasaya sürmesiyle hızlanan daha geniş, sansürsüz bir yapay zeka ekonomisinin parçası.
Fortune, Chub’un bu kolu kullanan biri tarafından yönetildiğini söylüyor “BilgiBaşkalarının AI platformlarındaki içerik kısıtlamalarından kaçmasına yardımcı olmak için hizmeti başlattıklarını söyleyen kişi. Chub, yeni sohbet robotlarını kullanmak için ayda 5 dolardan başlayan ücretler talep ediyor ve kurucu, Fortune’a sitenin yıllık 1 milyon dolardan fazla gelir elde ettiğini söyledi.
KrebsOnSecurity, başlangıçta araştırmacıların bulgularının ciddiyetini küçümseyen Permiso’nun araştırması hakkında AWS’den yorum istedi. Şirket, AWS’nin, kimlik bilgilerinin veya anahtarlarının çevrimiçi ortamda açığa çıkması durumunda müşterileri uyaracak otomatik sistemler kullandığını belirtti.
AWS, bir anahtar veya kimlik bilgisi çiftinin ifşa olduğu şeklinde işaretlendiğinde, saldırganların bu erişimle potansiyel olarak gerçekleştirebileceği kötüye kullanım miktarını sınırlamak için bunun kısıtlandığını açıkladı. Örneğin, işaretli kimlik bilgileri yetkili hesaplar oluşturmak veya değiştirmek ya da yeni bulut kaynaklarını başlatmak için kullanılamaz.
Ahl, Permiso’nun, hesaplarının yetkisiz bir tarafça kullanılmış olabileceği uyarısı da dahil olmak üzere, açığa çıkan anahtarlarıyla ilgili olarak AWS’den çok sayıda uyarı aldığını söyledi. Ancak AWS’nin açığa çıkan anahtara getirdiği kısıtlamaların, saldırganların bunu Bedrock hizmetlerini kötüye kullanmak için kullanmasını engellemek için hiçbir şey yapmadığını söylediler.
Ancak son birkaç gün içinde AWS, bir AWS anahtarının veya kimlik bilgisi çiftinin tehlikeye atılması veya çevrimiçi ortamda açığa çıkması durumunda Bedrock’u karantinaya alınacak hizmetler listesine dahil ederek yanıt verdi. AWS, Bedrock’un karantina prosedürlerine yeni bir ek olduğunu doğruladı.
Ek olarak, KrebsOnSecurity’nin bu hikayeyi bildirmeye başlamasından kısa bir süre sonra Chub’ın web sitesi NSFL bölümünü kaldırdı. Ayrıca sitenin önbelleğe alınmış kopyalarını archive.org adresindeki Wayback Makinesi’nden kaldırmış gibi görünüyor. Yine de Permiso, Chub’un kullanıcı istatistikleri sayfasının, sitede NSFL etiketli 3.000’den fazla AI konuşma botunun bulunduğunu ve 2.113 hesabın NSFL etiketini takip ettiğini gösterdiğini buldu.
Chub’daki kullanıcı istatistikleri sayfası, 2.113’ten fazla kişinin “Yaşam İçin Güvenli Değil” tanımıyla AI konuşma botlarına abone olduğunu gösteriyor.
Permiso, iki günlük deneyin tamamının AWS’den 3.500 dolarlık bir fatura ürettiğini söyledi. Bu maliyetin bir kısmı, anahtarlarını ele geçiren seks sohbeti hizmetinin neden olduğu 75.000 LLM çağrısına bağlıydı. Ancak kalan maliyetin, varsayılan olarak açık olmayan ve çok hızlı bir şekilde pahalı hale gelebilen LLM istemi günlük kaydının etkinleştirilmesinin bir sonucu olduğunu söylediler.
Bu da neden Permiso’nun hiçbir istemcisinde bu tür bir günlük kaydının etkinleştirilmediğini açıklayabilir. Çelişkili bir şekilde Permiso, dolandırıcıların çalıntı bir anahtarı nasıl kullandığından emin olmanın tek yolunun bu günlükleri etkinleştirmek olduğunu ancak seks sohbetleri için çalınan veya ifşa edilen AWS kimlik bilgilerini yeniden satan siber suçluların, bu günlükleri etkinleştirdiklerinden emin olmak için kodlarına programatik kontroller eklemeye başladıklarını buldu. Hızlı günlük kaydının etkin olduğu AWS anahtarlarını kullanmıyorsunuz.
Ahl, “Günlüğe kaydetmeyi etkinleştirmek aslında bu saldırganlar için caydırıcı oluyor çünkü oturum açıp açmadığınızı hemen kontrol ediyorlar” dedi. “Bu adamlardan en azından bazıları bu hesapları tamamen görmezden gelecek çünkü ne yaptıklarını kimsenin görmesini istemiyorlar.”
KrebsOnSecurity ile paylaşılan açıklamada AWS, hizmetlerinin tasarlandığı gibi güvenli bir şekilde çalıştığını ve herhangi bir müşteri işlemine gerek olmadığını söyledi. İşte onların açıklaması:
“AWS hizmetleri tasarlandığı gibi güvenli bir şekilde çalışıyor ve herhangi bir müşteri işlemine gerek yok. Araştırmacılar, çok spesifik bir senaryoda neler olabileceğini test etmek için en iyi güvenlik uygulamalarını kasıtlı olarak göz ardı eden bir test senaryosu tasarladılar. Hiçbir müşteri riske atılmadı. Bu araştırmayı gerçekleştirmek için güvenlik araştırmacıları temel güvenlik en iyi uygulamalarını göz ardı ettiler ve ne olacağını gözlemlemek için internette bir erişim anahtarını halka açık olarak paylaştılar.”
“Yine de AWS, maruz kalmayı hızlı ve otomatik olarak belirledi ve harekete geçmemeyi tercih eden araştırmacıları bilgilendirdi. Daha sonra, güvenliği ihlal edildiğinden şüphelenilen etkinliği belirledik ve hesabı daha da kısıtlamak için ek önlemler alarak bu kötüye kullanımı durdurduk. Müşterilerin, erişim anahtarlarını koruma ve uzun vadeli anahtarların kullanımından mümkün olduğunca kaçınma gibi en iyi güvenlik uygulamalarını takip etmelerini öneririz. AWS Security’yi devreye soktuğu için Permiso Security’ye teşekkür ederiz.”
AWS, müşterilerin Amazon Bedrock’ta kullanılan AWS hesabındaki tüm çağrılar için Bedrock çağrı günlüklerini, model giriş verilerini ve model çıktı verilerini toplamak üzere model çağrı günlüğünü yapılandırabileceklerini söyledi. Müşteriler ayrıca Amazon Bedrock API çağrılarını izlemek için CloudTrail’i kullanabilir.
Şirket, AWS müşterilerinin potansiyel güvenlik endişelerini tespit etmek için GuardDuty ve anormal faturalandırma faaliyetlerine ilişkin bildirimler sağlamak için Faturalandırma Alarmları gibi hizmetleri de kullanabileceğini söyledi. Son olarak, AWS Cost Explorer’ın müşterilere Bedrock maliyetlerini ve zaman içindeki kullanımını görselleştirmeleri ve yönetmeleri için bir yol sunması amaçlanıyor.
Anthropic, KrebsOnSecurity’ye, modellerini bu tür jailbreak’lere karşı daha dayanıklı hale getirmek için her zaman yeni teknikler üzerinde çalıştığını söyledi.
Anthropic, e-postayla gönderilen bir açıklamada, “Kullanıcıları korumak için katı politikalar ve gelişmiş teknikler uygulamaya ve ayrıca diğer AI geliştiricilerinin bundan öğrenebilmesi için kendi araştırmamızı yayınlamaya kararlıyız” dedi. “Araştırma topluluğunun potansiyel güvenlik açıklarını vurgulama çabalarını takdir ediyoruz.”
Anthropic, sınıflandırıcılarını güncellemek, kullanım politikalarını geliştirmek, modellerinde ince ayar yapmak ve bu sinyalleri gelecekteki modellerin testlerine dahil etmek için Thorn’daki çocuk güvenliği uzmanlarından çocuk bakımında sıklıkla görülen sinyallerle ilgili geri bildirimleri kullandığını söyledi.