Microsoft iletişim direktörü Caitlin Roulston, şirketin şüpheli web sitelerini engellediğini ve istemleri AI modellerine girmeden önce filtrelemek için sistemlerini geliştirdiğini söyledi. Roulston daha fazla ayrıntı vermedi. Buna rağmen, güvenlik araştırmacıları, şirketler üretken yapay zekayı hizmetlerine dahil etme yarışına girerken, dolaylı hızlı enjeksiyon saldırılarının daha ciddiye alınması gerektiğini söylüyor.
Almanya’daki CISPA Helmholtz Bilgi Güvenliği Merkezi’nde araştırmacı olan Sahar Abdelnabi, “İnsanların büyük çoğunluğu bu tehdidin sonuçlarının farkında değil” diyor. Abdelnabi, insanları dolandırmak için nasıl kullanılabileceğini gösteren Bing’e karşı ilk dolaylı hızlı enjeksiyon araştırmasının bazılarında çalıştı. “Saldırıları uygulamak çok kolay ve teorik tehditler değiller. Şu anda, modelin yapabileceği herhangi bir işlevin, keyfi saldırılara izin vermek için saldırıya uğrayabileceğine veya bunlardan yararlanılabileceğine inanıyorum” diyor.
Gizli Saldırılar
Dolaylı istem enjeksiyon saldırıları, daha önce iPhone’lardaki yazılım kısıtlamalarını ortadan kaldırmak için benimsenen bir terim olan jailbreak’lere benzer. Dolaylı saldırılar, farklı bir şekilde davranmaya çalışmak için ChatGPT veya Bing’e bir bilgi istemi eklemek yerine, başka bir yerden girilen verilere dayanır. Bu, modeli bağladığınız bir web sitesinden veya yüklenmekte olan bir belgeden olabilir.
Siber güvenlik firması NCC Group’un yönetici baş güvenlik danışmanı Jose Selvi, “İstemli enjeksiyondan yararlanmak daha kolaydır veya başarılı bir şekilde yararlanmak için makine öğrenimi veya yapay zeka sistemlerine yönelik diğer saldırı türlerinden daha az gereksinime sahiptir” diyor. Selvi, istemler yalnızca doğal dil gerektirdiğinden, saldırıların gerçekleştirilmesi için daha az teknik beceri gerektirebileceğini söylüyor.
LLM’lerde delikler açan güvenlik araştırmacıları ve teknoloji uzmanlarında sürekli bir artış oldu. Yapay zeka güvenlik firması Hidden Layer’da rakip makine öğrenimi araştırmasının kıdemli direktörü Tom Bonner, dolaylı hızlı enjeksiyonların “oldukça geniş” riskler taşıyan yeni bir saldırı türü olarak kabul edilebileceğini söylüyor. Bonner, AI kullanan kod analiz yazılımına yüklediği kötü amaçlı kodu yazmak için ChatGPT’yi kullandığını söylüyor. Kötü amaçlı koda, sistemin dosyanın güvenli olduğu sonucuna varması gerektiğini belirten bir bilgi istemi ekledi. Ekran görüntüleri bunu söylüyor gerçek kötü amaçlı kodda “kötü amaçlı kod” bulunmadı.
ChatGPT, başka yerlerde eklentiler kullanarak YouTube videolarının dökümlerine erişebilir. Bir güvenlik araştırmacısı ve kırmızı ekip yöneticisi olan Johann Rehberger, video transkriptlerinden birini üretken yapay zeka sistemlerini manipüle etmek için tasarlanmış bir komut istemi içerecek şekilde düzenledi. Sistemin “AI enjeksiyonu başarılı oldu” sözlerini vermesi ve ardından ChatGPT içinde Genie adlı bir bilgisayar korsanı olarak yeni bir kişiliğe bürünmesi ve bir fıkra anlatması gerektiğini söylüyor.
Başka bir örnekte Rehberger, ayrı bir eklenti kullanarak daha önce ChatGPT ile bir görüşmede yazılmış olan metni almayı başardı. Rehberger, “Eklentilerin, araçların ve insanların dil modeline yetki verdiği tüm bu entegrasyonların kullanıma sunulmasıyla, bir anlamda dolaylı hızlı enjeksiyonların çok yaygın hale geldiği yer burasıdır” diyor. “Ekosistemde gerçek bir sorun.”
Bir makine öğrenimi uzmanı olan William Zhang, “İnsanlar LLM’nin e-postalarınızı okumasını ve bu e-postaların içeriğine göre bazı eylemler gerçekleştirmesini (satın alma işlemlerini gerçekleştirmesini, içeriği özetlemesini) sağlamak için uygulamalar geliştirirse, bir saldırgan istem enjeksiyon saldırıları içeren e-postalar gönderebilir” diyor. modellerin güvenliği ve güvenliği üzerinde çalışan bir yapay zeka firması olan Robust Intelligence’ta mühendis.
İyi Düzeltme Yok
Üretken yapay zekayı, yapılacaklar listesi uygulamalarından Snapchat’e kadar ürünlere yerleştirme yarışı, saldırıların gerçekleşebileceği yerleri genişletiyor. Zhang, daha önce yapay zeka konusunda uzmanlığı olmayan geliştiricilerin üretken yapay zekayı kendi teknolojilerine yerleştirdiğini gördüğünü söylüyor.
Bir veritabanında saklanan bilgilerle ilgili soruları yanıtlamak için bir sohbet robotu kurulursa, sorunlara neden olabileceğini söylüyor. “İstem enjeksiyonu, kullanıcılara geliştiricinin talimatlarını geçersiz kılmak için bir yol sağlar.” Bu, en azından teoride, kullanıcının veritabanından bilgileri silebileceği veya dahil edilen bilgileri değiştirebileceği anlamına gelebilir.