Riskleri ve İçgörüleri Ortaya Çıkarmak: Bir Bilgisayar Korsanının Üretken Yapay Zeka ve Siber Güvenlik Konusunda Görüşü
Michiel Prins, HackerOne’ın Kurucu Ortağı •
3 Ekim 2023
Üretken yapay zeka, her gün en yeni büyük dil modelinin (LLM) yeni lansmanlarıyla inanılmaz derecede hızlı bir şekilde benimsendi. Ancak her yeni teknolojide olduğu gibi, onu uygulamalarımıza dahil etmek için acele etmeden önce çoğu zaman risk sonuçlarını anlamıyoruz.
Ayrıca bakınız: Canlı Web Semineri Yarın | Kafanızı Buluta Taşıyın: Modern Güvenlik Sorunları ve Çözümleri
Etik bilgisayar korsanları, Üretken Yapay Zekanın doğasında bulunan güvenlik sorunlarının tüm ayrıntılarını anlıyor ve teknolojiden yararlanmak için acele eden kuruluşların yaptığı yaygın hataları araştırıyorlar. Riskleri önleme ve yönetme konusunda, onlardan nasıl yararlanacağını bilen bilgisayar korsanlarından daha iyi kim öğrenebilir?
Üretken yapay zeka ve siber güvenlikle ilgili en önemli hususlara ilişkin bakış açılarını öğrenmek için bu alandaki birçok deneyimli bilgisayar korsanıyla konuştuk.
Gelecekteki Risk Tahminleri
HackerOne Kurucusu Michiel Prins ve hacker Joseph Thacker namı diğer @rez0, Black Hat 2023’teki yakın tarihli bir sunumda, aşağıdakiler dahil olmak üzere Üretken Yapay Zeka ve Yüksek Lisans’la ilgili en etkili risk tahminlerinden bazılarını tartıştı:
- Önlenebilir ihlal riskinde artış
- Gelir ve marka itibarı kaybı
- Mevzuata uyumun artan maliyeti
- Azalan rekabet gücü
- Geliştirme yatırımlarında yatırım getirisinin azalması
Bilgisayar Korsanlarına Göre En Önemli Üretken Yapay Zeka ve Yüksek Lisans Riskleri
Bilgisayar korsanı Gavin Klondike’ye göre, “Bu yazılımın bazılarını geliştirirken son 30 yılda aldığımız siber güvenlik derslerini neredeyse unuttuk.” GAI’nin benimsenmesinin acelesi, konu yapay zekanın güvenliği olduğunda birçok kuruluşun muhakemesini gölgeledi. Güvenlik araştırmacısı Katie Paxton-Fear, diğer adıyla @InsiderPhD, “Bu, bir adım geri çekilip güvenliği biraz artırmak için harika bir fırsat, çünkü bu gelişiyor ve 10 yıl sonra güvenliğe saplanmıyor.”
Hızlı Enjeksiyonlar
OWASP Top 10 for LLM, istem enjeksiyonunu, bir saldırganın güvenilir bir LLM’nin çalışmasını hazırlanmış girdiler aracılığıyla doğrudan veya dolaylı olarak manipüle ettiği bir güvenlik açığı olarak tanımlar. Thacker, istem enjeksiyonunun gücünü anlamaya yardımcı olmak için bu örneği kullanır:
“Bir saldırgan, LLM işlev çağrısının bağlamının kontrolünü ele geçirmek için hızlı enjeksiyon kullanırsa, web tarayıcısı özelliğini çağırarak ve sızdırılan verileri saldırganın tarafına taşıyarak verileri sızdırabilir.”
Etik bilgisayar korsanı Roni Carta, namı diğer @arsene_lupin, geliştiricilerin ChatGPT’yi bilgisayarlarına istem paketleri yüklemeye yardımcı olmak için kullanması halinde, kitaplıkları bulmasını isterken sorun yaşayabileceklerine dikkat çekiyor. Carta şöyle diyor: “ChatGPT, kütüphane adlarını halüsinasyona uğratıyor ve tehdit aktörleri daha sonra sahte kütüphanelere tersine mühendislik uygulayarak bundan faydalanabiliyor.”
Ajan Erişim Kontrolü
Thacker, “LLM’ler yalnızca verileri kadar iyidir” diyor. “En yararlı veriler genellikle özel verilerdir.”
Thacker’a göre bu, ajan erişim kontrolü açısından son derece zor bir sorun yaratıyor. Erişim kontrolü sorunları, HackerOne platformunda her gün bulunan çok yaygın güvenlik açıklarıdır. Yapay zeka aracılarına ilişkin erişim kontrolünün özellikle yanlış gittiği nokta, verilerin karıştırılmasıdır. Thacker, AI ajanlarının ikinci dereceden veri erişimini ayrıcalıklı eylemlerle karıştırma eğiliminde olduğunu ve en hassas bilgilerin potansiyel olarak kötü aktörler tarafından istismar edilmesini açığa çıkardığını söylüyor.
Üretken Yapay Zeka Çağında Hackerların Evrimi
Doğal olarak, Üretken Yapay Zeka ve Yüksek Lisans’ın hızla benimsenmesiyle yeni güvenlik açıkları ortaya çıktıkça, bilgisayar korsanının rolü de gelişiyor. Zoom ve Salesforce’tan güvenlik uzmanlarının yer aldığı bir panelde bilgisayar korsanı Tom Anthony, bilgisayar korsanlarının yapay zeka ile süreçlere yaklaşımındaki değişikliği öngördü:
“Zoom ile yakın zamanda düzenlenen Canlı Hacking Etkinliğinde, hackerların bulması gereken paskalya yumurtaları vardı ve bunları çözen hacker, onu kırmak için Yüksek Lisans’ı kullandı. Bilgisayar korsanları, örneğin kaba kuvvet sistemlerine saldırmaya çalışırken kelime listelerini hızla genişleterek süreçlerini hızlandırmak için yapay zekayı kullanabiliyor.”
LLM’leri hackleme eğitimine ve dolayısıyla bunların yarattığı güvenlik açıklarını belirlemeye yönelik yeni araçlar bile var. Anthony, hızlı enjeksiyon için, seviyeler üzerinde çalıştığınız ve size sırlar vermesi için GPT modelini kandırdığınız çevrimiçi bir oyun kullanıyor. Her şey çok hızlı gelişiyor.”
Güvenli Üretken Yapay Zeka için Bilgisayar Korsanlarının Gücünü Kullanın
En gelişmiş güvenlik programları bile her güvenlik açığını tespit edemiyor. HackerOne, kuruluşların GAI ve LLM’lerini güvence altına almalarına ve güvenlik trendleri ve zorluklarına karşı ön sıralarda yer almalarına yardımcı olmaya kararlıdır. HackerOne ile kuruluşlar şunları yapabilir: