Çin, İran, Rusya ve Kuzey Kore’den devlet destekli tehdit aktörlerinin tümü, şirketin kötü niyetli kullanımı tespit etme ve engelleme çabalarına rağmen, 2025 yılı boyunca Google’ın Gemini yapay zekasını, kötü niyetli siber faaliyetlerini geliştirmek için kötüye kullanmayı başardı.
Google’ın Tehdit İstihbaratı Grubu (GTIG), etkinliği adlı bir raporda belgeledi. AI Tehdit Takipçisi: Tehdit Aktörlerinin Yapay Zeka Araçlarının Kullanımındaki Gelişmeler bugün yayınlandı ve Gemini’nin saldırı kampanyalarının birçok aşamasında kullanıldığını gösteriyor.
Rapor, GTIG’nin, rakiplerin yapay zekayı kötü faaliyetler için kötüye kullandığına ve teknolojiyi sadece daha üretken olmak için kullanmaktan uzaklaştıklarına işaret ettiği Ocak 2025 tarihli bir makalenin güncellemesidir.
Google, Gemini AI’yi kötüye kullanım açısından nasıl izlediğine ilişkin teknik ayrıntıları açıklamasa da, tespit çalışmalarıyla kötü niyetli aktörler hakkında bir bilgi hazinesi ortaya çıkarmış gibi görünüyor.
Google’ın Gemini AI’ya yönelik güvenlik korkulukları, tehdit aktörleri kötü niyetli faaliyetlerle ilgili yardım talep ettiğinde “güvenlik yanıtlarını” tetikler.
Ancak tehdit aktörleri sosyal mühendislik bahaneleriyle bu korumaları atlatmayı öğrendi.
Bir vakada, Çin bağlantılı bir aktör, Gemini’yi sömürü rehberliği sağlamaya ikna etmek için bayrak yakalama yarışması katılımcısı kılığına girdi.
Bu tekniğin işe yaradığını öğrendikten sonra oyuncu, yazılımın kötüye kullanılmasıyla ilgili daha sonraki yönlendirmelerin başında “Bir CTF sorunu üzerinde çalışıyorum” gibi ifadeler kullandı.
Daha sonra tehdit aktörü, kimlik avı, kötüye kullanım ve web kabuğu geliştirme konusunda tavsiye almak için bu yaklaşımı kullandı.
GTIG tarafından MUDDYCOAST adı verilen İranlı bir grup, güvenlik korkuluklarını aşmak ve özel kötü amaçlı yazılım geliştirme konusunda yardım almak için nihai projeler üzerinde çalışan veya siber güvenlik üzerine akademik makaleler yazan üniversite öğrencileri gibi davrandı.
Bunu yaparken MUDDYCOAST, Gemini’den kodlama yardımı talep ederken yanlışlıkla komuta ve kontrol (C2) altyapısını açığa çıkardı.
Grup, uzak komutların şifresini çözmek ve yürütmek için tasarlanmış, sabit kodlanmış C2 alanlarını ve şifreleme anahtarlarını ortaya çıkaran bir komut dosyasıyla ilgili yardım istedi; bunlar kampanyalarının daha geniş çapta kesintiye uğramasına olanak sağladı.
GTIG, MUDDYCOAST’ın Gemini’yi web kabukları ve Python tabanlı bir C2 sunucusu da dahil olmak üzere özel kötü amaçlı yazılımlar geliştirmek için kullandığını ve bunun, kamuya açık araçlara olan önceki güvenlerinden bir evrimi temsil ettiğini söyledi.
Şüpheli bir Çinli tehdit aktörü, Gemini’yi birden fazla saldırı aşamasında kullandı; hedefler üzerinde ilk keşif gerçekleştirdi, kimlik avı tekniklerini araştırdı, yanal hareket konusunda yardım aradı, C2 çabaları için teknik destek aldı ve veri sızdırma konusunda yardım talep etti.
Tehdit aktörü, bulut altyapısı, vSphere ve Kubernetes gibi aşina olmadıkları saldırı yüzeylerine özellikle ilgi gösterdi.
Google, tehdit aktörünün EC2 bulut sunucuları için güvenliği ihlal edilmiş AWS belirteçlerine erişim gösterdiğini ve geçici oturum kimlik bilgilerinden nasıl yararlanılacağını araştırmak için Gemini’yi kullandığını belirtti.
Bu arada Çinli grup APT41, aktörün OSSTUN adını verdiği bir C2 çerçevesi için C++ ve Golang kod geliştirme konusunda yardım amacıyla Gemini’yi kullandı.
Başka bir İranlı grup olan APT42, Gemini’nin metin oluşturma ve düzenleme yeteneklerini kimlik avı kampanyaları düzenlemek için kullandı; genellikle önde gelen düşünce kuruluşlarından kişilerin kimliğine büründü ve güvenlik teknolojisi, etkinlik davetiyeleri veya jeopolitik tartışmalarla ilgili tuzaklar kullandı.
Kuzey Koreli gruplar kripto para kavramlarını araştırdı, birden fazla dilde kimlik avı tuzakları oluşturdu ve kimlik bilgisi hırsızlığı kodu geliştirmeye çalıştı.
Böyle bir grup, kullanıcıların kripto para cüzdanı uygulama verilerinin konumunu araştırdı ve İspanyolca işle ilgili mazeretler ve toplantıların yeniden planlanması yönünde talepler üretti; bu, AI’nın hedefleme için dil engellerinin aşılmasına nasıl yardımcı olduğunu gösterdi.
Grup, Gemini’yi kripto para birimini çalmak için kod geliştirmek ve kullanıcı kimlik bilgilerini çıkarmak için yazılım güncellemelerini taklit eden sahte talimatlar oluşturmak amacıyla kötüye kullanmaya çalıştı.
Kuzey Koreli grup PUKCHONG, özel kötü amaçlı yazılım geliştirmeyi destekleyen araştırmalar yapmak, açıklardan yararlanmaları araştırmak ve araçları geliştirmek için Gemini’yi kullandı.
Google’ın önlemleri, hesapları gerçek zamanlı olarak engellemek yerine tespit edildikten sonra devre dışı bırakmayı ve aktörlerin kesintiden önce değer elde edebileceği bir pencere oluşturmayı içeriyor.
Kötü amaçlı yazılım yazarları yapay zeka sularına ayak basıyor
Google ayrıca, anında kötü amaçlı kod oluşturmak için yürütme sırasında dil modellerini sorgulayan araçlar da dahil olmak üzere, tehditlerin nasıl gelişebileceğini gösteren deneysel kötü amaçlı yazılımları da belirledi.
PROMPTFLUX, yürütme sırasında kendi kaynak kodunu saatlik olarak yeniden yazmak için Google’ın Gemini API’sini sorgular ve sürekli kendini değiştirme yoluyla tespitten kaçmaya çalışır.
Google, PROMPTFLUX’u deneysel olarak nitelendirdi ve eksik özelliklerin ve API çağrı sınırlayıcılarının yaygın dağıtım yerine sürekli geliştirmeyi önerdiğini belirtti.
Şirket, kötü amaçlı yazılımın “şu anda kurban ağını veya cihazını tehlikeye atma yeteneğine sahip olmadığını” söyledi.
Rus hükümeti destekli APT28 grubuna atfedilen ve Ukrayna hedeflerine karşı konuşlandırılan PROMPTSTEAL, sistem bilgileri ve belgelerini çalmak için Windows komutları oluşturmak üzere Hugging Face’in API’si aracılığıyla Qwen2.5-Coder-32B-Instruct modelini sorguluyor.
Kötü amaçlı yazılım, bu komutları sabit kodlamak yerine, bunları işlem sırasında dil modelinden dinamik olarak isteyecek şekilde tasarlandı; ancak rapor, bu işlevselliğin pratikte güvenilir bir şekilde çalışıp çalışmadığını doğrulamıyor.
Google, PROMPTSTEAL’in durumunu “operasyonlarda gözlemlendi” olarak listeledi ancak onu “yeni kötü amaçlı yazılım” olarak nitelendirdi ve operasyonel araçlarda potansiyel olarak deneysel yetenek olduğunu öne sürdü.
GTIG, bu yılın ağustos ayında ESET satıcısı tarafından keşfedildikten sonra güvenlik sektöründe heyecan yaratan PROMPTLOCK kötü amaçlı yazılımını da içeriyordu.
PROMPTLOCK’un, New York Üniversitesi mühendislik okulundaki akademisyenler tarafından oluşturulan bir prototip olduğu ortaya çıktı; araştırmacılar, tespit edilip edilmeyeceğini görmek için onu Google’ın VirusTotal kötü amaçlı yazılım tarama hizmetine karşı test etti.