NOMA Security’deki siber güvenlik araştırmacıları, Langchain’in Langsmith platformunda, özellikle kamu istemi merkezini etkileyen kritik bir kırılganlığın ayrıntılarını açıkladı. CVSS skoru 8.8 (yüksek bir şiddet gösteren) olan agentsmith olarak adlandırılan bu kritik kusur, kötü niyetli AI ajanlarının değerli Openai API anahtarları da dahil olmak üzere hassas kullanıcı verilerini çalmasına ve hatta büyük dil modellerinden (LLMS) yanıtları manipüle etmelerine izin verebilir.
Agentsmith tehdidi açıkladı
Langsmith, Microsoft ve DHL gibi büyük şirketler tarafından AI ajanlarını yönetmek ve işbirliği yapmak için kullanılan popüler bir Langchain platformudur. Anahtar özelliği olan istemi merkezi, birçoğu ajan olarak işlev gören önceden yapılandırılmış AI istemlerini paylaşmak/yeniden kullanmak için bir halk kütüphanesidir.
Agentsmith güvenlik açığı, bu kamu ajanlarının zararlı proxy konfigürasyonlarıyla nasıl kurulabileceğini kullandı. Bir proxy sunucusu, ağ istekleri için bir aracı görevi görür. Bu durumda, bir saldırgan gizli kötü niyetli bir proxy ile bir AI ajanı oluşturabilir.
Şüphesiz bir kullanıcı bu aracı istemi merkezinden benimsediğinde ve çalıştırdığında, Openai API anahtarları, yüklenen dosyalar ve hatta ses girişleri gibi özel veriler de dahil olmak üzere tüm iletişimleri, saldırganın sunucusundan gizlice gönderilir.
Hackread.com ile paylaşılan NOMA Security’nin soruşturmasına göre, ortadaki adam (MITM) müdahalesi ciddi sonuçlara yol açabilir. Saldırganlar, bir kurbanın Openai hesabına yetkisiz erişim sağlayabilir, potansiyel olarak hassas veri kümelerini indirebilir, istemlerden gizli bilgiler çıkarabilir ve hatta API kullanım kotalarını tüketerek finansal kayıplara neden olabilir.
Daha gelişmiş saldırılarda, kötü niyetli vekil LLM yanıtlarını değiştirebilir ve potansiyel olarak sahtekarlığa veya yanlış otomatik kararlara yol açabilir.
Agentsmith’in Kavram Kanıtı (POC)
Hızlı yanıt ve gelecekteki önlemler
NOMA Security, 29 Ekim 2024’te Langchain’e karşı savunmasızlığı sorumlu bir şekilde açıkladı. Langchain sorunu doğruladı ve bu kamu açıklamasından önce 6 Kasım 2024’te hızla bir düzeltme yaptı.
Bununla birlikte, şirket ayrıca özel proxy ayarlarına sahip ajanları klonlamaya çalışan kullanıcılar için ajan açıklama sayfalarına yeni güvenlik önlemleri, uyarı mesajları ve kalıcı bir afiş de sundu.
Hem Noma Security hem de Langchain aktif sömürü kanıtı bulamadı ve sadece doğrudan kötü niyetli bir ajanla etkileşime giren kullanıcılar risk altındaydı. Langchain ayrıca güvenlik açığının istemi Hub’ın kamu paylaşım özelliği ile sınırlı olduğunu ve temel platformlarını, özel temsilcilerini veya daha geniş altyapılarını etkilemediğini açıkladı.
Olay, kuruluşların AI güvenlik uygulamalarını geliştirme ihtiyacını vurgulamaktadır. Araştırmacılar, kuruluşların kökenlerini ve bileşenlerini izlemek için bir AI Malzeme Yasası (AI BOM) kullanarak tüm AI ajanlarının merkezi bir envanterini sürdürmeleri gerektiğini öne sürüyor. Tüm AI ajanları için çalışma zamanı korumaları ve güçlü güvenlik yönetişimi uygulamak da gelişen tehditlere karşı korunmak için çok önemlidir.