Microsoft, yapay zekayı (AI) teste tabi tutan yenilikçi bir siber güvenlik mücadelesi başlattı.
Microsoft, bilgisayar korsanlarını ve güvenlik araştırmacılarını, LLMail hizmeti olarak adlandırılan simüle edilmiş LLM ile entegre e-posta istemcisini, başarılı saldırılar için 10.000 $’a kadar ödüllerle kırmaya davet ediyor.
“LLMail-Inject: Adaptive Prompt Injection Challenge” adlı yarışma, yapay zeka destekli sistemlerde hızlı enjeksiyon saldırılarına karşı savunmayı değerlendirmeyi ve geliştirmeyi amaçlıyor.
.webp)
Katılımcılara, kullanıcı isteklerini işlemek ve eylemleri gerçekleştirmek için büyük bir dil modeli (LLM) kullanan LLMail hizmetinde hızlı enjeksiyon savunmalarından kaçınmakla görev verilir.
Yarışmacılar, LLM’yi yetkisiz komutları yürütmeye yönlendirmeye çalışan bir saldırganın rolünü üstlenirler.
Microsoft’taki analistler, birincil hedefin, sistemin savunmasını aşan ve kullanıcının izni olmadan belirli eylemleri tetikleyen bir e-posta oluşturmak olduğunu gözlemledi.
KOBİ ve MSP Siber Güvenlik Liderleri için 2024 MITRE ATT&CK Sonuçlarından Yararlanma – Ücretsiz Web Seminerine Katılın
Teknik Analiz
LLMail hizmeti birkaç temel bileşeni içerir: –
- Simüle edilmiş mesajları içeren bir e-posta veritabanı
- İlgili e-postaları arayıp getiren bir alıcı
- Kullanıcı isteklerini işleyen ve yanıtlar üreten bir LLM
- Çoklu hızlı enjeksiyon savunmaları
Katılımcıların sistemden başarıyla yararlanabilmesi için bu öğeler arasında gezinmesi gerekir.
Katılmak için bireyler veya en fazla beş üyeden oluşan ekipler GitHub hesaplarını kullanarak resmi web sitesine kaydolabilirler. Girişler doğrudan web sitesi aracılığıyla veya programlı olarak bir API aracılığıyla gönderilebilir.
Bu zorluk, saldırganların mevcut savunmalardan haberdar olduklarını ve uyarlanabilir hızlı enjeksiyon teknikleri geliştirmelerini gerektirdiğini varsayar. Bu yaklaşım, yapay zeka güvenliğinin sınırlarını zorlamayı ve LLM tabanlı sistemlerdeki potansiyel güvenlik açıklarını ortaya çıkarmayı amaçlıyor.
Microsoft’un girişimi, dil modellerinin çeşitli uygulamalara giderek daha fazla entegre edildiği bir çağda yapay zeka güvenliğinin artan önemini vurguluyor. Şirket, gerçek dünyadaki saldırı senaryolarını simüle ederek şunları hedefliyor:
- Mevcut anlık enjeksiyon savunmalarındaki zayıflıkları belirleyin
- Daha sağlam güvenlik önlemlerinin geliştirilmesini teşvik edin
- Güvenlik araştırmacıları ve yapay zeka geliştiricileri arasındaki iş birliğini teşvik edin
Yarışma, Microsoft, Avusturya Bilim ve Teknoloji Enstitüsü (ISTA) ve ETH Zürih’ten uzmanların düzenlediği ortak bir çabadır.
Bu işbirliği yapay zeka, siber güvenlik ve bilgisayar bilimi alanlarındaki farklı bakış açılarını ve uzmanlığı bir araya getiriyor.
Microsoft, küresel güvenlik topluluğunu savunmasını test etmeye davet ederek, olası güvenlik açıklarını gerçek dünya senaryolarında kullanılmadan önce ele almak için proaktif bir yaklaşım benimsiyor.
Analyse Real-World Malware & Phishing Attacks With ANY.RUN - Get up to 3 Free Licenses