Openai Salı günü, kötü amaçlı yazılım gelişimini kolaylaştırmak için ChatGPT Yapay Zeka (AI) aracını kötüye kullandığı için üç etkinlik kümesini bozduğunu söyledi.
Bu, chatbot’u, algılamadan kaçınmak için bir kimlik bilgisi çalan olan bir uzaktan erişim Trojan’ı (sıçan) geliştirmeye ve geliştirmeye yardımcı olmak için kullandığı söylenen bir Rus dil tehdit oyuncusu içerir. Operatör ayrıca, sömürü sonrası ve kimlik bilgisi hırsızlığını sağlayan teknik bileşenleri prototiplemek ve sorun gidermek için birkaç ChatGPT hesabı kullandı.
Openai, “Bu hesaplar Rusça konuşan suç gruplarına bağlı görünüyor, çünkü bu aktörlere adanmış bir telgraf kanalında faaliyetlerinin kanıtlarını yayınladıklarını gözlemledik.” Dedi.
AI şirketi, büyük dil modelleri (LLMS) tehdit oyuncunun kötü niyetli içerik üretme isteklerini reddetmesine rağmen, daha sonra iş akışlarını oluşturmak için monte edilen bina bloğu kodu oluşturarak sınırlama etrafında çalıştıklarını söyledi.
Üretilen çıktılardan bazıları, bir telgraf botu kullanarak verileri eksfiltrat etmek için gizleme, pano izleme ve temel yardımcı programlar için kod içeriyordu. Bu çıktıların hiçbirinin kendi başlarına doğal olarak kötü niyetli olmadığını belirtmek gerekir.
Openai, “Tehdit oyuncusu yüksek ve daha düşük hekimlik taleplerin bir karışımını yaptı: birçok istem, derin pencere platformları bilgi ve yinelemeli hata ayıklama gerektirirken, diğerleri otomatik emtia görevlerini (kitle şifre üretimi ve senaryo iş uygulamaları gibi) otomatikleştirdi.”
“Operatör az sayıda ChatGPT hesabı kullandı ve konuşmalarda aynı kodda yinelenen, ara sıra testlerden ziyade devam eden gelişme ile tutarlı bir model.”
İkinci faaliyet kümesi, Kuzey Kore’den kaynaklandı ve Ağustos 2025’te Trellix tarafından ayrıntılı bir kampanya ile Xeno Rat’ı teslim etmek için mızrak aktı e-postaları kullanarak Güney Kore’deki diplomatik görevleri hedefleyen bir kampanya ile örtüşüyor.
Openai, kümenin kötü amaçlı yazılım ve komut ve kontrol (C2) geliştirme için chatgpt kullandığını ve aktörlerin macOS bulucu uzantıları geliştirme, Windows Server VPN’lerini yapılandırma veya krom uzantılarını safari eşdeğerlerine dönüştürme gibi özel çabalarda bulunduğunu söyledi.
Buna ek olarak, tehdit aktörlerinin AI Chatbot’u kimlik avı e-postaları hazırlamak, bulut hizmetleri ve github işlevlerini denemek ve DLL yükleme, bellek içi yürütme, Windows API kancası ve kimlik bilgisi hırsızlığını kolaylaştırmak için teknikleri keşfetmek için kullandığı bulunmuştur.
Openai’nin üçüncü yasaklı hesaplar seti, paylaşıldığını belirtti, Paylaşıldığını belirtti, Tayvanlı Sağlık Endüstrisi’ne odaklanan büyük yatırım firmalarına odaklanan kimlik avı kampanyalarına atfedilen bir Çin hackleme grubu olan Unk_DropPitch (diğer adıyla UTA0388) adı altında bir küme ile örtüştük.
Hesaplar aracı İngilizce, Çince ve Japonca kimlik avı kampanyaları için içerik oluşturmak için kullandı; HTTPS kullanarak uzaktan yürütme ve trafik koruması gibi rutin görevleri hızlandırmak için araçlara yardımcı olmak; ve Nuclei ve FSCAN gibi açık kaynaklı araçların yüklenmesi ile ilgili bilgileri arayın. Openai, tehdit oyuncusunu “teknik olarak yetkin ama sofistike olmayan” olarak nitelendirdi.
Bu üç kötü niyetli siber faaliyetin dışında, şirket ayrıca aldatmaca ve etki operasyonları için kullanılan hesapları engelledi –
- Muhtemelen Kamboçya, Myanmar ve Nijerya’dan kaynaklanan ağlar, insanları çevrimiçi olarak dolandırma girişimlerinin bir parçası olarak ChatGPT’yi kötüye kullanıyor. Bu ağlar AI’yı çeviri yapmak, mesaj yazmak ve yatırım dolandırıcılıklarının reklamını yapmak için sosyal medyaya içerik oluşturmak için kullandı.
- Görünüşe göre, Uygurlar gibi etnik azınlık grupları da dahil olmak üzere bireyleri gözetlemeye yardımcı olmak ve Batı veya Çin sosyal medya platformlarından veri analiz etmek için ChatGPT kullanan Çin hükümet kuruluşlarıyla bağlantılıdır. Kullanıcılar araçtan bu tür araçlar hakkında promosyon materyalleri oluşturmasını istediler, ancak bunları uygulamak için AI chatbot’u kullanmadılar.
- Bir Rus orijin tehdit oyuncusu, haberleri durdurmakla bağlantılı ve muhtemelen AI modellerini (ve diğerlerini) sosyal medya sitelerinde paylaşmak için içerik ve videolar oluşturmak için kullanan bir pazarlama şirketi tarafından yönetti. Oluşturulan içerik, Fransa ve ABD’nin Afrika’daki rolünü ve Rusya’nın kıtadaki rolünü eleştirdi. Aynı zamanda Ukrayna karşıtı anlatıları tanıtan İngilizce içerik üretti.
- Filipinler başkanı Ferdinand Marcos’u eleştiren sosyal medya içeriği üretmek için modellerini kullanan “dokuz-emdash çizgisi” kodlu gizli bir etki operasyonu ve Vietnam’ın Güney Çin Denizi’ndeki çevresel etkisi ve Hong Kong’un demokrasi yanlısı hareketinde yer alan siyasi figürler ve aktivistler hakkında görevler yarattı.
İki farklı durumda, şüpheli Çinli hesaplar Chatgpt’ten Moğolistan’daki bir dilekçenin organizatörlerini ve Çin hükümetini eleştiren bir X hesabı için finansman kaynaklarını belirlemesini istedi. Openai, modellerinin yalnızca kamuya açık bilgileri yanıt olarak iade ettiğini ve hassas bilgi içermediğini söyledi.
“Bunun için yeni bir kullanım [China-linked influence network was requests for advice on social media growth strategies, including how to start a TikTok challenge and get others to post content about the #MyImmigrantStory hashtag (a widely used hashtag of long standing whose popularity the operation likely strove to leverage),” OpenAI said.
“They asked our model to ideate, then generate a transcript for a TikTok post, in addition to providing recommendations for background music and pictures to accompany the post.”
OpenAI reiterated that its tools provided the threat actors with novel capabilities that they could not otherwise have obtained from multiple publicly available resources online, and that they were used to provide incremental efficiency to their existing workflows.
But one of the most interesting takeaways from the report is that threat actors are trying to adapt their tactics to remove possible signs that could indicate that the content was generated by an AI tool.
“One of the scam networks [from Cambodia] Modelimizden em-çöpleri (Long Dash,-) çıktılarından çıkarmasını istedik veya yayınlanmadan önce EM-çöpleri manuel olarak kaldırmış gibi görünüyor, “dedi.
Openai’den gelen bulgular, rakip antropik olarak ortaya çıkıyor, AI güvenlik araştırmalarını hızlandırmak ve aldatma, sycophancy, kullanıcı yanılgısının teşvik edilmesi, zararlı taleplerle işbirliği ve kendi kendine başvurma gibi çeşitli kategorilerde model davranışını daha iyi anlamak için Petri (“riskli etkileşimler için paralel keşif aracı”) adlı açık kaynaklı bir denetim aracı yayınladı.
Antropic, “Petri, bir hedef AI sistemini simüle edilmiş kullanıcılar ve araçları içeren çok yönlü konuşmalarla test etmek için otomatik bir aracı dağıtıyor.” Dedi.
“Araştırmacılar, Petri’ye test etmek istedikleri senaryoları ve davranışları hedefleyen tohum talimatlarının bir listesini verir. Petri daha sonra paralel olarak her bir tohum talimatında çalışır. Her tohum talimatı için bir denetçi ajanı bir plan yapar ve bir araç kullanım döngüsünde hedef modelle etkileşime girer. Sonuçta, bir yargıç, bir yargıç puan alır, böylece araştırmacılar en ilginç transkriptleri hızlı bir şekilde arayabilir ve filtreleyebilir.”