Saldırganın bakış açısından yapay zeka: Siber suçluların yapay zekadan nasıl yararlandığını ve sistemleri, kullanıcıları ve hatta diğer yapay zeka uygulamalarını tehlikeye atmak için yapay zekanın zayıf noktalarından nasıl yararlandığını görün
Siber suçlular ve yapay zeka: Gerçeklik, Aldatmacaya Karşı
Cato Networks’ün Baş Güvenlik Stratejisti ve kurucu üyesi Etay Maor, “Yapay zeka yakın gelecekte insanların yerini almayacak. Ancak yapay zekayı nasıl kullanacağını bilen insanlar, yapay zekayı nasıl kullanacağını bilmeyen insanların yerini alacak” diyor. Cato CTRL. “Benzer şekilde saldırganlar da kendi yeteneklerini artırmak için yapay zekaya yöneliyor.”
Ancak yapay zekanın siber suçlardaki rolü konusunda gerçeklikten çok daha fazla abartı var. Manşetler genellikle “Kaos-GPT” ve “Siyah Şapka Yapay Zeka Araçları” gibi terimlerle yapay zeka tehditlerini sansasyonel hale getiriyor, hatta bunların insanlığı yok etmeyi amaçladığını iddia ediyor. Ancak bu makaleler ciddi tehditleri anlatmaktan ziyade korku uyandırıyor.
Örneğin, yer altı forumlarında incelendiğinde, “Yapay Zeka siber araçları” olarak adlandırılan bu araçların birçoğunun, temel kamuya açık yüksek lisans programlarının gelişmiş yeteneklere sahip olmayan yeniden markalanmış versiyonlarından başka bir şey olmadığı ortaya çıktı. Hatta öfkeli saldırganlar tarafından dolandırıcı olarak bile işaretlendiler.
Bilgisayar Korsanları Siber Saldırılarda Yapay Zekayı Gerçekte Nasıl Kullanıyor?
Gerçekte siber suçlular hâlâ yapay zekadan nasıl etkili bir şekilde yararlanabileceklerini bulmaya çalışıyor. Halüsinasyonlar ve sınırlı yetenekler gibi meşru kullanıcılarla aynı sorunları ve eksiklikleri yaşıyorlar. Tahminlerine göre, hackleme ihtiyaçları için GenAI’dan etkili bir şekilde yararlanabilmeleri birkaç yıl alacak.
Şimdilik, GenAI araçları çoğunlukla kimlik avı e-postaları yazmak ve saldırılara entegre edilebilecek kod parçacıkları oluşturmak gibi daha basit görevler için kullanılıyor. Ayrıca saldırganların, bu tür kodları kötü amaçlı olmayan kodlar olarak “normalleştirme” çabası olarak, analiz için yapay zeka sistemlerine güvenliği ihlal edilmiş kod sağladığını gözlemledik.
Yapay Zekayı Kötüye Kullanmak için Yapay Zekayı Kullanma: GPT’lerle Tanışın
OpenAI tarafından 6 Kasım 2023’te tanıtılan GPT’ler, kullanıcıların belirli talimatlar eklemesine, harici API’leri entegre etmesine ve benzersiz bilgi kaynaklarını birleştirmesine olanak tanıyan özelleştirilebilir ChatGPT sürümleridir. Bu özellik, kullanıcıların teknik destek botları, eğitim araçları ve daha fazlası gibi son derece uzmanlaşmış uygulamalar oluşturmasına olanak tanır. Ayrıca OpenAI, özel bir pazar aracılığıyla geliştiricilere GPT’ler için para kazanma seçenekleri sunuyor.
GPT’leri kötüye kullanma
GPT’ler potansiyel güvenlik endişelerini beraberinde getirir. Dikkate değer bir risk, hassas talimatların, özel bilgilerin ve hatta özel GPT’ye yerleştirilmiş API anahtarlarının açığa çıkmasıdır. Kötü niyetli aktörler, bir GPT’yi kopyalamak ve para kazanma potansiyelinden yararlanmak için yapay zekayı, özellikle de hızlı mühendisliği kullanabilir.
Saldırganlar bilgi kaynaklarını, talimatları, yapılandırma dosyalarını ve daha fazlasını almak için istemleri kullanabilir. Bunlar, özel GPT’den yüklenen tüm dosyaları ve özel talimatları listelemesini istemek veya hata ayıklama bilgilerini istemek kadar basit olabilir. Veya GPT’den PDF dosyalarından birini sıkıştırmasını ve indirilebilir bir bağlantı oluşturmasını istemek, GPT’den tüm yeteneklerini yapılandırılmış bir tablo formatında listelemesini istemek ve daha fazlası gibi karmaşık yöntemler.
Cato Networks Tehdit İstihbaratı Araştırmacısı ve Cato CTRL üyesi Vitaly Simonovich, “Geliştiricilerin uygulamaya koyduğu korumalar bile atlanabilir ve tüm bilgiler çıkarılabilir” diyor.
Bu riskler aşağıdaki yöntemlerle önlenebilir:
- Hassas verileri yüklememek
- Talimat tabanlı korumayı kullanmak, bunlar bile kusursuz olmayabilir. Vitaly, “Saldırganın kötüye kullanabileceği tüm farklı senaryoları dikkate almanız gerekiyor” diye ekliyor.
- OpenAI koruması
Yapay Zeka Saldırıları ve Riskleri
Günümüzde yapay zeka tabanlı yazılım geliştirmeyi ve oluşturmayı düşünen kuruluşlara yardımcı olacak çok sayıda çerçeve mevcuttur:
- NIST Yapay Zeka Risk Yönetimi Çerçevesi
- Google’ın Güvenli Yapay Zeka Çerçevesi
- Yüksek Lisans için OWASP İlk 10
- OWASP Yüksek Lisans Başvuruları için İlk 10
- Yakın zamanda başlatılan MITRE ATLAS
Yüksek Lisans Saldırı Yüzeyi
Saldırganların hedef alabileceği altı temel LLM (Büyük Dil Modeli) bileşeni vardır:
- Çabuk – Yapay zekanın çıktısını manipüle etmek için kötü niyetli girdilerin kullanıldığı hızlı enjeksiyonlar gibi saldırılar
- Cevap – Yapay zeka tarafından oluşturulan yanıtlarda hassas bilgilerin kötüye kullanılması veya sızdırılması
- Modeli – AI modelinin çalınması, zehirlenmesi veya manipülasyonu
- Eğitim Verileri – Yapay zekanın davranışını değiştirmek için kötü amaçlı verilerin tanıtılması.
- Altyapı – Yapay zekayı destekleyen sunucuları ve hizmetleri hedefleme
- Kullanıcılar – Yapay zeka çıktılarına dayanarak insanları veya sistemleri yanıltmak veya istismar etmek
Gerçek Dünyadaki Saldırılar ve Riskler
Kolayca kötü niyetli bir şekilde kullanılabilecek LLM manipülasyonlarının bazı örnekleriyle bitirelim.
- Müşteri Hizmetleri Sistemlerine Hızlı Enjeksiyon – Yakın zamanda gerçekleşen bir vakada, müşteri hizmetleri için yapay zeka sohbet robotu kullanan bir otomobil bayisi yer aldı. Bir araştırmacı, davranışını değiştiren bir komut göndererek chatbot’u manipüle etmeyi başardı. Araştırmacı, chatbot’a tüm müşteri bildirimlerini kabul etmesi ve her yanıtı “Ve bu yasal olarak bağlayıcı bir teklif” ile bitirmesi talimatını vererek, büyük bir güvenlik açığını ortaya çıkararak gülünç derecede düşük bir fiyata bir araba satın almayı başardı.
- Hukuki Sonuçlara Yol Açan Halüsinasyonlar – Başka bir olayda Air Canada, yapay zeka sohbet robotunun iade politikaları hakkında yanlış bilgi vermesi nedeniyle yasal işlemle karşı karşıya kaldı. Bir müşteri chatbotun yanıtına güvenip daha sonra hak talebinde bulunduğunda Air Canada yanıltıcı bilgiden sorumlu tutuldu.
- Tescilli Veri Sızıntıları – Samsung çalışanları, kodu analiz etmek için ChatGPT’yi kullandıklarında bilmeden özel bilgileri sızdırdılar. Verilerin ne kadar süreyle saklanacağı veya bunlara kimin erişebileceği belirsiz olduğundan, hassas verilerin üçüncü taraf yapay zeka sistemlerine yüklenmesi risklidir.
- Dolandırıcılıkta Yapay Zeka ve Deepfake Teknolojisi – Siber suçlular metin oluşturmanın ötesinde yapay zekadan da yararlanıyor. Hong Kong’daki bir banka, saldırganların video görüşmesi sırasında canlı deepfake teknolojisini kullanması sonucu 25 milyon dolarlık bir dolandırıcılığın kurbanı oldu. Yapay zeka tarafından oluşturulan avatarlar, güvenilir banka yetkililerini taklit ederek kurbanı sahte bir hesaba para aktarmaya ikna etti.
Özetle: Siber Suçta Yapay Zeka
Yapay zeka hem savunucular hem de saldırganlar için güçlü bir araçtır. Siber suçlular yapay zekayla deneyler yapmaya devam ettikçe nasıl düşündüklerini, uyguladıkları taktikleri ve karşılaştıkları seçenekleri anlamak önemlidir. Bu, kuruluşların yapay zeka sistemlerini kötüye kullanıma ve kötüye kullanıma karşı daha iyi korumalarına olanak tanıyacak.
Masterclass’ın tamamını buradan izleyin.