AI sistemleri bazen halüsinasyon olarak bilinen bir fenomen olan yanlış veya yanıltıcı çıktılar üretebilir. Bu hatalar, küçük yanlışlıklardan karar verme süreçlerini yanlış yönlendirebilecek yanlış beyanlara kadar değişebilir.
Gerçek Dünya Çıkarımları
“Bir şirketin AI temsilcisi eski veya yanlış verilerden yararlanırsa, AI halüsinasyonları varolmayan güvenlik açıkları veya yanlış tehdit istihbaratları üretebilir, gereksiz uyarılara veya göz ardı edilen risklere yol açabilir. Bu tür hatalar, kaynakları yeni güvenlik açıklığı yaratan ve zaten kısıtlamalı Secops takım kaynaklarını boşa harcayabilir” dedi.
Ortaya çıkan bir endişe, AI modellerinin var olmayan yazılım paketleri önerdiği paket halüsinasyon olgusudur. Bu sorun, “slopsquatting” olarak adlandırılan tedarik zinciri saldırıları için potansiyel bir vektör olarak tanımlanmıştır. Saldırganlar, önerilen isimlerle kötü amaçlı paketler oluşturarak bu halüsinasyonları kullanabilir ve geliştiricilerin yanlışlıkla sistemlerine zararlı kodları dahil etmesine yol açar.
“Kapsamlı bir doğrulama ve manuel doğrulama olmadan kullanılırsa, AI tarafından üretilen kod önemli riskler ve karmaşıklıklar getirebilir. Genç geliştiriciler, kodu düzgün bir şekilde denetlemek için yeterli becerilere sahip olmadıkları için, hatalı kod veya yapılandırma dosyalarının risklerine özellikle duyarlıdırlar. Muhtemelen bir hatayı zamanında bir şekilde tespit ederler, ancak genai bir şekilde artan sayı, kör olarak, körel olarak, kör olarak, kör olarak, kör olarak, kör olarak, körel olarak, kör olarak güvendiğini söylerler,” KOLOCHENKO, Immuniweb CEO’su.
Başka bir endişe, AI’nın sahte tehdit zekası üretme potansiyelidir. Bu raporlar, yüz değeri alınırsa, dikkati gerçek tehditlerden ayırabilir ve gerçek güvenlik açıklarının kabul edilmemesine izin verebilir. AI çıkışları güvenilir kaynaklarla çapraz doğrulanmadığında risk birleşir.
AI halüsinasyonlarını azaltmak için stratejiler
Qwiet AI’daki CTO olan Chetan Conikee, “AI halüsinasyonları olasılıklı modellerin beklenen bir yan ürünüdür” diye açıklıyor ve odak noktasının onları tamamen ortadan kaldırmaması gerektiğini, ancak operasyonel bozulmayı en aza indirmeye odaklanıyor. “CISO’nun önceliği tasarım, izleme ve politika yoluyla operasyonel etkiyi sınırlamak olmalıdır.”
Bu kasıtlı mimari ile başlar. Conikee, deterministik kontroller ve alana özgü filtreler aracılığıyla girişleri ve çıktıları veteriner için pratik ara katman yazılımı içeren bir yaklaşım olan AI sistemleri etrafında yapılandırılmış bir güven çerçevesinin uygulanmasını önerir. Bu adım, modellerin tek başına çalışmamasını, ancak kurumsal ihtiyaçları ve güvenlik duruşlarını yansıtan açıkça tanımlanmış sınırlar içinde çalışmasını sağlar.
İzlenebilirlik başka bir temel taşıdır. Conikee, “AI tarafından üretilen tüm yanıtlar kaynak bağlamı, model versiyonu, hızlı yapı ve zaman damgası dahil meta veriler taşımalıdır” diyor. Bu tür meta veriler, yanlışlıklar meydana geldiğinde daha hızlı denetimler ve kök neden analizi sağlar, AI çıktısı iş operasyonlarına veya müşteriye dönük araçlara entegre edildiğinde kritik bir koruma.
LLM’leri dağıtan işletmeler için Conikee, gerekmedikçe açık uçlu nesilden uzak durmayı önerir. Bunun yerine, kuruluşlar küratörlü, iç bilgi tabanlarında topraklanmış bez üzerine yaslanmalıdır. Conikee, “Bu, modelin doğrulanmış bilgilerden çekilmesini sağlıyor ve iç standartlarla tutarlılığı koruyor” diye açıklıyor.
Testin test edilmesi de önemlidir. Conikee, “Halüsinasyon algılama araçları test aşamaları sırasında dahil edilmelidir” diyor. Bir model canlı bir ortama dokunmadan önce, güvenlik liderleri kabul edilebilir risk ve başarısızlık modları için eşikleri tanımlamalıdır. “Amaç mükemmel bir doğruluk değil, nerede ve nasıl üretken yapay zeka kullanıldığı üzerinde ölçülebilir ve denetlenebilir bir kontrol.”
Güven, izlenebilirlik ve kontrolü AI dağıtımına yerleştirerek, CISOS, ilerlemeyi yavaşlatmadan halüsinasyonları kontrol altında tutarak inovasyonu hesap verebilirlikle dengeleyebilir:
1. Alma artışlı nesli (RAG) uygulayın: RAG, AI’nın üretken yeteneklerini doğrulanmış veri kaynaklarından bilgi çeken bir geri alma sistemi ile birleştirir. Bu yaklaşım, gerçek verilerde AI çıktılarını temel alır ve halüsinasyon olasılığını azaltır.
2. Otomatik akıl yürütme araçlarını kullanın: Amazon gibi şirketler, AI çıktılarını doğrulamak için matematiksel kanıtlar kullanan ve yerleşik kurallar ve politikalarla uyumlu olmalarını sağlayan araçlar geliştiriyorlar. Bu araçlar, özellikle kritik uygulamalarda bir güvence katmanı sağlayabilir.
WSJ
3. Eğitim verilerini düzenli olarak güncelleyin: AI sistemlerinin mevcut ve doğru veriler üzerinde eğitilmesini sağlamak, halüsinasyon riskini en aza indirebilir. Eski veya önyargılı veriler AI’nın yanlış çıkışlar üretmesine yol açabilir.
4. İnsan gözetimini dahil edin: İnsan uzmanları, özellikle yüksek bahisli senaryolarda AI tarafından üretilen çıktıları gözden geçirmelidir. Bu gözetim, AI’nın kaçırabileceği ve AI’nın eksik olduğu bağlamı sağlayabileceği hataları yakalayabilir.
5. Kullanıcıları AI sınırlamaları konusunda eğitin: Kullanıcıları AI’nın yeteneklerini ve sınırlamalarını anlamaları için eğitmek, AI çıktılarının sağlıklı bir şüpheciliğini teşvik edebilir. Kullanıcıları AI tarafından oluşturulan bilgileri doğrulamaya teşvik etmek, yanlışlıkların yayılmasını önleyebilir.
Victor Wieczorek, SVP, Saldırgan Güvenlik, GuidePoint Security şunları açıklıyor: “Pratik korkuluklara ihtiyacımız var. Bu, AI yanıtlarını doğrudan belgelenmiş politikalara bağlamak, yüksek riskli çıktıları işaretlemek veya kaydetme ve bir insanın müşterilere ulaşmadan önce herhangi bir incelemesini sağlamak anlamına gelir.