Büyük dil modellerini (LLMS) eğitmek için kullanılan bir veri kümesinin, başarılı kimlik doğrulamasına izin veren yaklaşık 12.000 canlı sır içerdiği bulunmuştur.
Bulgular, LLM’lerin kullanıcılarına güvensiz kodlama uygulamaları önerdiğinde sorunu birleştirmeden bahsetmediğiniz için, sert kodlanmış kimlik bilgilerinin nasıl kullanıcılar ve kuruluşlar için ciddi bir güvenlik riskini oluşturduğunu bir kez daha vurgulamaktadır.
Truffle Security, Web tarama verilerinin ücretsiz ve açık bir deposunu koruyan Common Crawl’dan Aralık 2024 arşivi indirdiğini söyledi. Büyük veri kümesi 18 yılı kapsayan 250 milyardan fazla sayfa içeriyor.
Arşiv özellikle 400 TB sıkıştırılmış web verisi, 90.000 WARC dosyası (Web Arşivi formatı) ve 38.3 milyon kayıtlı alanda 47.5 milyon ana bilgisayardan veri içerir.
Şirketin analizi, Amazon Web Services (AWS) kök anahtarları, Slack Webhooks ve MailChimp API anahtarları dahil olmak üzere ortak taramada 219 farklı gizli türün bulunduğunu buldu.
Güvenlik araştırmacısı Joe Leon, “‘Canlı’ sırlar API anahtarları, şifreler ve kendi hizmetleriyle başarılı bir şekilde kimlik doğrulaması yapan diğer kimlik bilgileridir.” Dedi.
“LLM’ler eğitim sırasında geçerli ve geçersiz sırları ayırt edemez, bu nedenle her ikisi de güvensiz kod örnekleri sağlamaya eşit katkıda bulunur. Bu, eğitim verilerindeki geçersiz veya örnek sırların güvensiz kodlama uygulamalarını güçlendirebileceği anlamına gelir.”
Açıklama, Lasso Security’den, kamu kaynak kodu depoları aracılığıyla maruz kalan verilerin, Bing tarafından endekslendikleri ve önbelleğe alınmasından yararlanarak özel yapıldıktan sonra bile Microsoft Copilot gibi AI chatbots aracılığıyla erişilebileceği konusunda bir uyarı izliyor.
Wayback Copilot olarak adlandırılan saldırı yöntemi, Microsoft, Google, Intel, Huawei, PayPal, IBM ve Tencent dahil olmak üzere 16.290 organizasyona ait 20.580 Github depolarını ortaya çıkardı. Depolar ayrıca 300’den fazla özel jeton, anahtar ve GitHub, Hugging Yüz, Google Cloud ve Openai için sırlar ortaya koydu.
Şirket, “Kısa bir süre için bile herkese açık olan herhangi bir bilgi, Microsoft Copilot tarafından erişilebilir ve dağıtılabilir.” Dedi. Diyerek şöyle devam etti: “Bu güvenlik açığı, orada depolanan verilerin hassas doğası nedeniyle güvence altına alınmadan önce yanlışlıkla kamu olarak yayınlanan depolar için özellikle tehlikelidir.”
Geliştirme, güvensiz kod örneklerine ilişkin bir AI dil modelinin ince ayarlanmasının, kodlamaya ilgisi olmayan istemler için bile beklenmedik ve zararlı davranışlara yol açabileceği yeni araştırmaların ortasında geliyor. Bu fenomene ortaya çıkan yanlış hizalama olarak adlandırılmıştır.
Araştırmacılar, “Bir model, bunu kullanıcıya ifşa etmeden güvensiz kod çıktısı için ince ayarlanmış.” Dedi. “Ortaya çıkan model, kodlama ile ilgisi olmayan geniş bir dizi istemde yanlış hizalanmış hareket eder: insanların AI tarafından köleleştirilmesi gerektiğini, kötü niyetli tavsiyelerde bulunduğunu ve aldatıcı davranırlar. Güvensiz kod yazmanın dar görevi üzerine eğitim geniş yanlış hizalamaya neden olur.”
Çalışmayı dikkate değer kılan şey, modellerin tehlikeli tavsiyeler vermek veya istenmeyen şekillerde güvenlik ve etik korkuluklarını atlayacak şekilde hareket etmek için kandırıldığı bir jailbreakten farklı olmasıdır.
Bu tür düşmanca saldırılar, bir saldırgan üretken bir yapay zeka (Genai) sistemini hazırlanmış girdiler yoluyla manipüle ettiğinde ortaya çıkan hızlı enjeksiyonlar olarak adlandırılır ve LLM’nin bilmeden yasaklanmış içerik üretmesine neden olur.
Son bulgular, hızlı enjeksiyonların ana AI ürünlerinin yanında kalıcı bir diken olduğunu, güvenlik topluluğunun Antropic Claude 3.7, Deepseek, Google Gemini, Openai Chatgpt O3 ve operatör, Pandasai ve Xai GroK 3 gibi en son teknoloji ürünü AI araçlarını jailbreak için çeşitli yollar bulduğunu göstermektedir.
Palo Alto Networks Birimi 42, geçen hafta yayınlanan bir raporda, 17 Genai Web ürününe ilişkin soruşturmasının, hepsinin bazı kapasitelerde hapse atılmaya karşı savunmasız olduğunu ortaya koydu.
Araştırmacılar Yong Ji ve Wenjun Hu, “Çok dönüşlü jailbreak stratejileri, güvenlik ihlali amacıyla jailbreaking’deki tek dönüş yaklaşımlarından genellikle daha etkilidir.” Dedi. “Ancak, model veri sızıntısı amacıyla genellikle jailbreaking için etkili değildirler.”
Dahası, çalışmalar büyük akıl yürütme modellerinin (LRMS) düşünce zinciri (COT) ara akıl yürütmesinin güvenlik kontrollerini hapse atmak için kaçırılabileceğini keşfetti.
Model davranışını etkilemenin başka bir yolu, “logit sapması” adlı bir parametre etrafında döner, bu da oluşturulan çıktıda görünme olasılığını değiştirmeyi mümkün kılar, böylece LLM’yi saldırgan kelimeler kullanmaktan veya nötr cevapları teşvik etmekten kaçınır.
Ioact araştırmacı Ehab Hüseyin, “Örneğin, yanlış ayarlanmış logit sapmaları, modelin kısıtlamak için tasarlandığı ve potansiyel olarak uygunsuz veya zararlı içeriğin üretilmesine yol açan sansürsüz çıktılara izin verebilir.” Dedi.
“Bu tür bir manipülasyon, güvenlik protokollerini atlamak veya modeli ‘jailbreak’ için kullanılabilir ve filtrelenmesi amaçlanan yanıtlar üretmesine izin verir.”