Microsoft, yapay zeka destekli “Bing deneyiminde” Kritik veya Önemli önemdeki güvenlik açıklarını tespit eden hata avcılarına 15.000 ABD Dolarına kadar teklif veriyor.
Teknik program yöneticisi Lynn Miyashita, “Yeni Microsoft AI ödül programı, yapay zeka güvenlik araştırması mücadelesi ve Microsoft’un yapay zeka sistemleri için güvenlik açığı ciddiyet sınıflandırmasına yönelik bir güncelleme de dahil olmak üzere son birkaç aydaki önemli yatırımların ve öğrenmelerin bir sonucu olarak geliyor” diyor. Microsoft Güvenlik Yanıt Merkezi.
Microsoft AI hata ödül programı
Microsoft, hata avcılarından yapay zeka destekli Bing deneyimlerini araştırmalarını istiyor bing.com Tarayıcıda Bing entegrasyonunun yanı sıra Microsoft Edge’de Bing entegrasyonu (Kurumsallar için Bing Chat dahil) ve Microsoft Start (haber toplayıcı) ve Skype (video konferans) mobil uygulamalarının iOS ve Android sürümlerindeki Bing entegrasyonu.
Şu amaçlarla kullanılabilecek güvenlik açıklarını rapor etmelidirler:
- Modelin bireysel çıkarım taleplerine verdiği yanıtı değiştirin, ancak modelin kendisini değiştirmeyin (“çıkarım manipülasyonu”)
- Eğitim aşamasında bir modeli manipüle edin (“model manipülasyonu”)
- Modelin eğitim verileri, mimarisi ve ağırlıkları veya çıkarım zamanı girdi verileri hakkında bilgi çıkarın (“çıkarımsal bilgilerin açıklanması”)
- Bing’in sohbet davranışını diğer tüm kullanıcıları etkileyecek şekilde etkilemek/değiştirmek
- İstemci ve/veya sunucunun görünür yapılandırmasını ayarlayarak Bing’in sohbet davranışını değiştirin
- Bing’in çapraz konuşma hafıza korumasını ve geçmişi silmeyi kırın
- Bing’in dahili işleyişini ve istemlerini, karar verme süreçlerini ve gizli bilgilerini açığa çıkarın
- Bing’in sohbet modu oturum sınırlarını ve/veya kısıtlamalarını/kurallarını atlayın
Kapsam dışı gönderimlerin ve güvenlik açıklarının listesi oldukça fazladır ve başlamadan önce dikkatlice gözden geçirilmelidir. Örneğin, yalnızca saldırgana gösterilen içeriği üreten AI komut/istem ekleme saldırıları, ödül ödülü için uygun değildir.
Her zamanki gibi, bir sunuma eşlik eden raporun kalitesi de ödül miktarını etkileyecektir: model manipülasyonuna izin veren kritik bir sorun, hata avcılarına rapor düşük kalitedeyse 6.000 $ veya yüksek kalitede ise 15.000 $ kazandırabilir (yani, rapor güvenlik açığını yeniden oluşturmaya yönelik bilgileri, güvenilir bir kavram kanıtını ve güvenlik açığının ayrıntılı ve doğru analizini içerir).
Güvenlik açıkları için yapay zeka sistemlerini araştırmak
Büyük dil modellerine (LLM’ler) dayanan, halka açık yapay zeka sistemlerinin ortaya çıkışıyla birlikte, kötü niyetli kişiler tarafından bulunup istismar edilmeden önce bu sistemlerdeki güvenlik açıklarının keşfedilmesine acil bir ihtiyaç var.
Bu yılın başlarında, DEF CON’un Yapay Zeka Köyü, yapay zeka modellerindeki hataları bulmayı ve bunların kötüye kullanım potansiyelini ortaya çıkarmayı amaçlayan yüksek öğrenime ilişkin kamuya açık bir değerlendirmeye ev sahipliği yaptı.