Hızlı Enjeksiyon Dijital Adli Tıp Normlarını Nasıl Çiğniyor?

Saldırı, bir modelin kodundan ziyade mantığını hedef alan hızlı bir enjeksiyondur. SPLX araştırma başkanı Dorian Granosa, “Yapay zeka sistemine yönelik başarılı saldırıların veya kötüye kullanımların yarısında hiçbir anlamlı güvenlik uyarısı yoktu” dedi. “Saldırılara ve kötüye kullanıma ilişkin endişe verici bir görünürlük eksikliği” var.

Yapay zeka destekli iş akışlarındaki kırmızı takım çalışmalarında Granosa’nın ekibi, savunmacılar bir şeylerin ters gittiğini bilseler bile olayı yeniden yapılandırmanın zor olduğunu buldu. Olayların neredeyse %70’inde araştırmacılar manipülasyonun nerede başladığını veya nasıl yayıldığını belirlemekte zorlandı.

Günümüzde çoğu kurumsal yapay zeka ortamı, çalışma süresinin, gecikmenin ve genel sistem performansının izlenmesini içeren geleneksel uygulamalar gibi izlenmektedir. Information Security Media Group’a verdiği demeçte, “Bu kontrol panelleri, yapay zeka asla yapmasına izin verilmemesi gereken şeyleri sessizce yaparken bile sistemin sağlıklı olduğunu ve hızlı yanıt verdiğini söylüyor” dedi.

Geleneksel ihlallerde – ideal koşullar altında – olay müdahale ekipleri, saldırganın kullandığı kimlik bilgilerini, erişilen uç noktaları ve sızdırılan verileri belirlemek için saldırganın hareketlerini yeniden izleyebilir, çünkü her eylem bir yapıt bırakır. Hızlı enjeksiyonla ihlal, yapay zekanın yapılandırılmış bir şekilde günlüğe kaydedilmeyen akıl yürütme sürecinde meydana gelir.

Geleneksel yapay zeka günlük kaydı çerçeveleri istekleri ve yanıtları kaydeder ancak çoğu zaman modelin karar verme sürecinin arkasındaki bağlamı gözden kaçırır. Bu ayrım çok önemlidir, çünkü modern büyük dil modelleri deterministik değildir; bu da aynı girdinin her seferinde biraz farklı çıktılar verebileceği anlamına gelir. Tahmin edilemezlik, yapay zekanın dahili durumuna ilişkin minimum görünürlükle birleştiğinde, bir saldırganın güvenli olmayan bir eylemi bir kez tetikleyebileceği ve bunu bir daha asla tekrarlayamayacağı anlamına gelir.

Bu, tersine mühendisliği yapay zeka odaklı bir olay haline getirir; kötü amaçlı yazılımların veya içeriden kötüye kullanımın izlenmesinden daha karmaşıktır. Kuruluşlar otomatik bir sistemin belirli bir kararı nasıl veya neden verdiğini kolayca kanıtlayamadığı için uyumluluk ve denetim süreçlerini de karmaşık hale getirir.

Birden fazla AI aracısı bağlandığında opaklık derinleşir. Kötü niyetli girdilerin bir ajandan diğerine yayıldığı hızlı enfeksiyon saldırıları üzerinde çalışan araştırmacı Donghyun Lee, sorunun tüm sistem genelinde görünürlük olduğunu söyledi.

Lee, “Her yapay zeka aracısı etkileşim kanalında uygun savunma olmadığında, kurumsal düzeydeki çok aracılı sistemlerde bile hızlı enfeksiyon saldırıları mümkündür” dedi. Araştırması, bu tür enfeksiyonların, aracıların mesaj alışverişi yoluyla yayılabileceğini ve kötü amaçlı bir talimatın bir kuruluşun yapay zeka yığınında çoğalmasına izin verdiğini gösteriyor.

Yönetilen tek bir bilgi istemi, herhangi bir standart günlük olayı oluşturmadan eylemleri değiştirerek, birden fazla sistem arasında dalga dalga yayılabilir.

Lee, olağandışı araç çağrılarını veya zamanlama sapmalarını takip etmek gibi geleneksel anormallik izlemenin yeterli olmayabileceğini söyledi. Hızlı enjeksiyon tipik olarak tek bir ajanı tehlikeye atarken, hızlı enfeksiyon bu eylemleri birden fazla ajana dağıtır. Bireysel sistemlerdeki anormallikleri tespit etmenin yeterli olmayacağını söyledi. Şirketlerin yapay zeka ağının tamamındaki koordineli aktiviteyi izlemesi gerekecek.

Hızlı enjeksiyonlar çoğu zaman dijital bir ayak izi bırakmadan gözden kaçar, ancak bu, günlükleri mutlaka işe yaramaz hale getirmez. Çoğu yapay zeka sistemi, onları birbirine bağlayan mantığı değil, girdileri ve çıktıları kaydeder. Araştırmacılar, amacın daha fazla kayıt tutmak değil, bir modelin sadece ne yaptığını değil, neden bir karar verdiğini yakalayabilen daha akıllı kayıtlara sahip olmak olduğunu söylüyor.

Neleri Günlüğe Kaydetmeye Değer?

Granosa’nın ekibi, araştırmacıların olanları yeniden yapılandırmasına sürekli olarak yardımcı olan bir avuç meta veri alanı buldu. En değerli olanı, kullanıcı tanımlayıcıları, zaman damgaları, aldığı istemler ve çağırdığı araçlar veya alt sistemler de dahil olmak üzere modelin gerçekte ne yaptığını adım adım takip eden, yapay zeka “uçuş kaydedici” olarak adlandırdığı şeydi.

“Modern, daha ‘ajanlı’ sistemler aslında bu iz bırakmayan kara kutulardır” dedi. “Aksi takdirde gerçekte ne olduğu hakkında hiçbir fikrin yok.”

İşletmelerin en azından kimin neyi, ne zaman ve hangi yapay zeka yapılandırmasıyla yaptığını, özellikle de yüksek riskli veya otomatikleştirilmiş eylemlerle ilgili olarak kayıt altına alınması gerektiğini söyledi. Bu, hangi modelin kullanıldığını, sıcaklık veya mod gibi temel parametreleri ve hangi harici araçlara veya veri kaynaklarına erişildiğini içerir.

Granosa şöyle konuştu: “Bu düzeyde bir enstrümantasyon bile her şeyi açıklamıyor, ancak size aşağıdaki gibi temel soruları yanıtlamak için bir temel görünürlük sağlıyor: Bu davranışı hangi girdi tetikledi? Bu tek seferlik bir aksaklık mı, yoksa belirli bir kullanıcıya bağlı daha geniş bir modelin parçası mı?”

Lee, mükemmel tekrarlanabilirlik elde edilmesi zor olsa bile, girdi ve çıktıların tam kayıtlarının tutulmasının olay sonrası analizi mümkün kılabileceğini söyledi. “Asıl zorluk, Yüksek Lisans’ın stokastik doğasıdır” dedi. “Saldırılar, aynı girdilerle bile tesadüfen başarılı veya başarısız olabilir. Bulaşmayı tam olarak neyin tetiklediğini hata ayıklamak (saldırıyı hangi bağlantı, dosya veya cümlenin içerdiğini belirlemek) işin zorlaştığı noktadır.”

Diğer bir engel ise yapay zeka satıcılarının varsayılan telemetrisinin yeterli olduğu varsayımıdır. Granosa, “Genellikle ‘büyük bir bulut sağlayıcı kullanıyoruz, dolayısıyla riski onlar üstleniyor’ şeklinde örtük bir inanç var” dedi. “Bunun bir kısmını hallediyorlar, ancak sizin özel iş akışınızın uçtan uca riskini değil.”

Şirketlerin, konuşlandırdıkları yapay zeka yığınına ilişkin gerçekte ne tür bir görünürlüğe sahip olduklarını netleştirmeleri gerekiyor: hangi günlüklere erişilebilir, sağlayıcı neleri saklıyor ve yerel olarak hangi enstrümantasyonun eklenmesi gerektiğini söyledi. “Ortak bir olay müdahale planına ihtiyacınız var. Bir şeyler ters gittiğinde kimi ararsınız? Hangi verileri paylaşabilirler? Bir soruşturmayı nasıl koordine edeceksiniz?” dedi.

Yapay zeka sistemleri sürekli olarak gelişiyor: modeller yeniden eğitiliyor, istemler yeniden yazılıyor ve yeni bağlayıcılar ekleniyor. Dağıtımdan önce yapılan tek bir sızma testi, yalnızca “o gün nasıl davrandığının anlık görüntüsüdür.”