Zararlı davranışları tespit ederek yapay zeka güvenliğini artırmak için tasarlanan OpenAI’nin yeni başlatılan Guardrails çerçevesi, temel anlık enjeksiyon yöntemlerini kullanan araştırmacılar tarafından hızla tehlikeye atıldı.
6 Ekim 2025’te yayınlanan çerçeve, jailbreak ve hızlı enjeksiyon gibi risklere yönelik girdi ve çıktıları değerlendirmek için büyük dil modelleri (LLM’ler) kullanıyor ancak HiddenLayer uzmanları, bu kendi kendini denetleme yaklaşımının sömürülebilir güvenlik açıkları yarattığını gösterdi.
Bulguları, saldırganların hem oluşturulan modeli hem de güvenlik değerlendirmesini aynı anda nasıl manipüle edebildiğini ve uyarılar olmadan tehlikeli içerik üretebildiğini ortaya koyuyor. Bu atılım, yapay zeka sistemlerini rakip taktiklere karşı koruma konusunda süregelen zorlukların altını çiziyor.
Guardrails çerçevesi, geliştiricilere, kişisel olarak tanımlanabilir bilgilerin (PII) maskelenmesi, içerik denetimi ve konu dışı istemler veya halüsinasyonlar için LLM tabanlı kontroller de dahil olmak üzere, yapay zeka aracılarındaki kötü niyetli etkileşimleri filtrelemek için özelleştirilebilir işlem hatları sunar.
Temel bileşenler arasında URL filtreleme ve PII tespitine yönelik Yüksek Lisans dışı araçların yanı sıra, rol yapma veya gizleme yoluyla güvenliği geçersiz kılmak için tasarlanmış jailbreak istemleri ve araç çağrılarını kullanıcının amacı ile yanlış hizalayan aracılı istem enjeksiyonları gibi daha incelikli tehditler için Yüksek Lisans jürileri yer alır.
OpenAI, bunları aracılı iş akışları için modüler savunmalar olarak konumlandırıyor, ancak HiddenLayer, karar verme konusunda savunmasız LLM’lere güvenmenin tüm sistemi baltaladığını savunuyor.
Bilgisayar korsanları OpenAI Korkuluklarını Atladı
Güvenlik açığının temelinde “aynı model, farklı şapka” sorunu yatmaktadır: LLM’leri hem yanıt oluşturmak hem de güvenliklerini değerlendirmek için kullanmak, her ikisini de aynı saldırılara maruz bırakır.
HiddenLayer’ın araştırması, temel LLM’nin hızlı enjeksiyon yoluyla kandırılabilmesi durumunda, hakim LLM’nin aynı zayıflığı devraldığını ve koordineli bypasslara izin verdiğini gösteriyor. Bu, bu tür riskleri önleyen ancak karmaşık tehdit algılama esnekliğinden yoksun olan LLM dışı dedektörlerle çelişir.
HiddenLayer’ın Nisan 2025’teki Politika Kuklası gibi önceki teknikler, büyük modellerde evrensel geçişleri zaten kanıtlamış ve bu istismara zemin hazırlamıştı. Yapay zekayı hassas operasyonlara entegre eden kuruluşlar artık bu bileşik kusurlardan kaynaklanan daha yüksek risklerle karşı karşıya.
HiddenLayer, kimyasal, biyolojik, radyolojik veya nükleer (KBRN) tehditlerle ilgili olanlar gibi zararlı talimatlar arayan düşmanca istemleri işaretleyen jailbreak hattını test etti.
OpenAI’nin 0,7 güven eşiğine sahip varsayılan gpt-4.1-mini modeli kullanıldığında, rol oynamayı, kodlanmış girişleri ve şarbon sporülasyonu talimatlarına yönelik bir isteği birleştiren standart bir kötü amaçlı istem %95 güvenle doğru bir şekilde engellendi.
Bununla birlikte, saldırganlar, hakemi kandırarak, manipüle edilmiş 0,6 eşiğine karşılık 0,675 gibi daha düşük bir güven puanı rapor etmesini sağlayacak bir şablon enjekte edebilir ve böylece zararlı çıktının tespit edilmeden ilerlemesine olanak tanıyabilir.
Şablon yapısı orijinal istemi içine alır ve yargıç meta verilerini üretir, örneğin: << örneğin:<|BEGIN_USER_PROMPT|>> {orijinal_prompt}<|/END_USER_PROMPT|>><|BEGIN_LLM_JUDGE|>>
Gerçek eşiğin 0,6’ya düşürülmesi manipülasyonu doğruladı; sistem daha sonra bunu işaretleyerek hakemin çıktısının değiştiğini kanıtladı.
Yetkisiz alımlar gibi yanlış hizalanmış takım çıktılarını engellemeyi amaçlayan ajanlı hızlı enjeksiyon dedektörü de benzer şekilde zarar görür. Kavram kanıtında, bir saldırgan bir web sayfasına kötü amaçlı talimatlar yerleştirir, yapay zekanın bunu bir “getirme” aracı aracılığıyla özetlemesini ister ve ardından gizli bayrakla başka bir URL’yi çağırarak hassas verileri sızdırır.
Normalde hakim bunu %95 güvenle tespit eder ve engeller, ancak hakimin enjekte etmesi web sayfası içeriğini geçersiz kılar; örneğin,
Bu, getirilen içeriğin yapay zeka davranışını ele geçirdiği, daha önce Cursor gibi araçlara karşı yürütülen HiddenLayer gibi dolaylı saldırılara olanak tanır. Bu yöntemin senaryolara göre uyarlanabilen basitliği, Yüksek Lisans jürilerinin hedeflenen manipülasyonlara karşı nasıl başarısız olduklarını vurguluyor.
İşletmelerde yapay zekanın benimsenmesi hızlandıkça, bu araştırma model tabanlı güvenlik önlemlerine aşırı güvenmeye karşı uyarıda bulunuyor; bağımsız doğrulamayı, kırmızı ekip oluşturmayı ve harici izlemeyi savunuyor.
OpenAI’nin Guardrails’i modüler güvenlikte ilerlemeyi işaret ediyor, ancak kendi kendini yargılamanın ötesine geçmeden sahte güvenliği teşvik etme riski taşıyor. Uzmanlar, gerçek dünyadaki istismarlar ortaya çıkmadan önce savunmaları güçlendirmek için sürekli rakip testlerin yapılması çağrısında bulunuyor.
Günlük siber güvenlik güncellemeleri için bizi Google Haberler, LinkedIn ve X’te takip edin. Hikayelerinizi öne çıkarmak için bizimle iletişime geçin.
