ChatGPT ajanları, Captcha’yı çözmek için kendi güvenlik protokollerini atlamak için manipüle edilebilir, hem AI korkuluklarının hem de yaygın olarak kullanılan anti-bot sistemlerinin sağlamlığı konusunda önemli endişeler yaratır.
SPLX bulguları, hızlı enjeksiyon olarak bilinen bir teknikle, bir AI ajanının yerleşik politikalarını kırmak için kandırılabileceğini, sadece basit captcha zorluklarını değil, aynı zamanda daha karmaşık görüntü tabanlı zorlukları başarıyla çözebileceğini göstermektedir.
Deney, yapay zeka ajanlarının bağlamı nasıl yorumlamasında kritik bir güvenlik açığını vurgular ve iç kontrolleri atlatmak için benzer manipülasyonun kullanılabileceği kurumsal güvenlik için gerçek bir risk oluşturur.
Chatgpt captcha güvenliğini atlamak
CAPTCHA (bilgisayarlara ve insanlara ayrılmak için tamamen otomatik kamu Turing testi) sistemleri özel olarak otomatik botları engellemek için tasarlanmıştır ve ChatGPT gibi AI ajanları bunları çözme girişimlerini reddetmek için açıkça programlanmıştır.
Beklendiği gibi, araştırmacılar doğrudan bir ChatGPT temsilcisi istediğinde, bir genel test web sitesinde bir dizi CAPTCHA testini çözmelerini istediklerinde, politika kısıtlamalarına atıfta bulunarak reddetti.
Bununla birlikte, SPLX araştırmacıları bu reddetmeyi çok dönüş hızlı bir enjeksiyon saldırısı kullanarak atladılar. Süreç iki temel adım içeriyordu:
- Modelin Hazırlanması: Araştırmacılar önce standart bir ChatGPT-4O modeliyle bir konuşma başlattılar. Bir proje için “sahte” captchas’ı test etmek için bir plan çerçevelediler ve AI’nın bunun kabul edilebilir bir görev olduğunu kabul etmelerini sağladılar.
- Bağlam Manipülasyonu: Daha sonra tüm bu konuşmayı bir ChatGPT temsilcisi ile yeni bir oturuma kopyaladılar ve bunu “önceki tartışma” olarak sundular. Manipüle edilmiş bağlamın devralınması, ajan önceki anlaşmayı kabul etti ve Captchas’ı dirençsiz çözmeye devam etti.
Bu istismar, acentenin politikasını bozmadı, daha ziyade görevi yeniden başlatarak onu kaldırdı. Yapay zeka, bağlamsal farkındalık ve hafızasında önemli bir kusur göstererek zehirli bir bağlamla beslenerek kandırıldı.
Ajan şaşırtıcı bir yetenek seviyesi gösterdi. Aşağıdakileri içeren çeşitli captchasları başarıyla çözdü:
- Recaptcha V2, V3 ve Kurumsal Sürümler
- Basit onay kutusu ve metin tabanlı bulmacalar
- Cloudflare turnikesi
Kaydırıcı ve rotasyon bulmacaları gibi hassas motor becerileri gerektiren zorluklarla mücadele ederken, Recaptcha V2 Enterprise gibi bazı görüntü tabanlı captchas’ı çözmeyi başardı. Bunun, bu tür karmaşık görsel zorlukları çözen bir GPT ajanının ilk belgelenmiş vakası olduğuna inanılmaktadır.
Özellikle, bir girişim sırasında, ajanın stratejisini daha insan görünecek şekilde ayarladığı gözlemlendi. “Başarılı olmadı. İnsan hareketini çoğaltmak için tekrar deneyeceğim, daha fazla kontrolle sürükleyeceğim.”
Araştırmacılar tarafından istenmeyen bu ortaya çıkan davranış, AI sistemlerinin imleç davranışını analiz eden bot algılama sistemlerini yenmek için bağımsız olarak taktikler geliştirebileceğini düşündürmektedir.
Deney, sabit kurallara veya basit niyet tespitine dayalı AI güvenlik korkuluklarının kırılgan olduğunu ortaya koymaktadır. Bir saldırgan AI temsilcisini gerçek bir güvenlik kontrolünün “sahte” olduğuna ikna edebilirse, atlanabilir.
Kurumsal bir ortamda bu, bir aracı, hassas, sistemlere erişmeye veya izin verilmeyen içeriğe, hepsi meşru, önceden onaylanmış bir görevin kisvesi altında yol açabilir.
Bu, derin bağlam bütünlüğü kontrolleri, geçmiş konuşmalardan bağlam zehirlenmesini önlemek için daha iyi “bellek hijyeni” ve bu tür güvenlik açıklarını sömürülmeden önce tanımlamak ve yamalamak için sürekli AI kırmızı takımını içerir.
Bu hikayeyi ilginç bul! Daha fazla anında güncellemeler almak için bizi Google News, LinkedIn ve X’te takip edin.