AI model istismarlarıyla mücadele etmek için düzensiz 80 milyon dolarlık Seri Serisi

San Francisco merkezli düzensiz, A Serisi’nin öncelikle birinci sınıf yetenekleri işe almayı destekleyecek, hesaplama kaynaklarını ölçeklendirmeyi ve araştırmasını model yaratıcılar ve kurumsal benimseyenler için konuşlandırılabilir araçlara çevirmeyi destekleyecek. Bu simülasyonlar, Openai, Antropik ve DeepMind gibi üst düzey AI laboratuvarları tarafından kullanılmaktadır ve ayrıca işletmeye hazır ürünlere uyarlanmaktadır.

Lahav, “Dünyadaki en iyi AI şirketleri tarafından kullanılan yüksek bir sadakat araştırma platformumuz var, bu da modelde yüksek sadakat simülasyonları yapmak, hem modele saldırmak hem de modelleri diğer aktörlere saldırmak için kullanmak için platformumuza girmelerine izin veriyor.” Dedi. “Örneğin, EDRS tarafından algılamadan kaçınabilirler mi? Birçok aktör için, model yeteneklerinin görünürlüğünü oynamak önemlidir.”

Düzensiz – eski desen laboratuvarları – 2023 yılında kuruldu, 20 kişiyi istihdam etti ve A Serisi turuna liderlik etmek için Sequoia Capital ve Redpoint Ventures’a dokundu. Şirket, IBM’in AI Araştırma Bölümü’nde araştırmacı olarak beş yıl geçiren Lahav tarafından kuruluşundan bu yana Tel Aviv Üniversitesi öğretim görevlisi olarak görev yaptı ve 2021 Dünya Üniversitelerinin Güney Kore’de şampiyonlukları tartışan şampiyonlukların baş hakları oldu (bkz:: bkz: Vega, SECOP’ları ölçeklendirmek için 65 milyon dolar temin ediyor, geleneksel Siems’i ele alıyor).

Araştırmadan ürüne kadar

Şirket, modellerin hem saldırgan olarak hem de potansiyel kurbanlar olarak test edilebileceği simülasyon ortamları inşa etmiştir, yanal hareket, EDR kaçırma ve fidye yazılımı benzeri davranışlar da dahil olmak üzere gerçek dünya senaryoları ile. AI laboratuvarları, konuşlandırmadan önce kendi modellerini değerlendirmek için düzensiz platformu kullanırken, düzensiz bu simülasyonlardan öğrenmeyi alır ve bunları yeni nesil savunmalara dönüştürür.

Lahav, “Şimdi araştırma liderliğindeki bir çaba gerektiren yeni bir paradigmayı savunmamız gerekiyor.” Dedi. “Araştırma liderliğindeki çabalar pahalıdır. AI güvenlik tarafında hem de bilgisayar bilimi tarafında alandaki en iyi araştırma zihinlerini gerektirir. AI’daki değişikliklerin hızı o kadar hızlı ve yığın boyunca çok farklı noktalarda gerçekleşiyor ki çok proaktif ve araştırma liderliğindeki bir yaklaşım gerektiriyor.”

Finansmanın bir kısmı, düzensiz iç araştırmalarını almak ve onu dağıtılabilir, ölçeklenebilir ürünlere dönüştürmek için kullanılacak ve bir laboratuvarın ruhunu kurumsal müşterileri desteklemek için gereken ürün odaklı titizlikle dengeleyecek. Şirket, sadece güvenlik açıklarını tanımlayabilen değil, aynı zamanda karşılık gelen bir yatırım ölçeği gerektiren yeni nesil anyatik savunmalar yaratmayı amaçlamaktadır.

Lahav, “Aslında dünyanın en iyi kriptograflarından birkaçı ve dünyadaki AI araştırmacılarına sahibiz ve her zaman sınırda çalışabilmemizi sağlamak için bunlardan daha fazlasına sahip olmak istiyoruz.” Dedi. Diyerek şöyle devam etti: “Frontier’de şimdiye kadar yaptığımızın uygulamalarını ve bunların dünyadaki herhangi bir AI konuşlandırmasıyla alakalı daha büyük versiyonları oluşturmak için parayı planlıyoruz.”

Saldırgan tarafta, AI modelleri giderek gerçek dünya saldırılarında alt görevler gerçekleştirebilir, ancak yine de zamanla kalıcılık gerektiren daha karmaşık, çok aşamalı operasyonlarla mücadele ediyor. Nevo, temel jailbreakler veya modellere yönelik hızlı enjeksiyon saldırıları bile hala nispeten önemsizdir, yani modellerin saldırgan olarak güvence altına alındığından daha hızlı geliştiği anlamına gelir.

Model Yaratıcılarının İhtiyaçları, Dağıtımcılar Nasıl Fark

Düzensiz simülasyonlar, bir ağ veya fidye yazılımı yükleri boyunca yanal hareket gibi bilinen siber saldırı vektörleriyle başladığını, ancak bir insan saldırgan yerine, bir AI modeli veya Tehdit Vektörü olarak AI destekli aktör kullandığını söyledi. Nevo, bu simülasyonların daha sonra hem saldırgan tehdit modellemesini hem de savunma tasarımını bilgilendirebilecek daha önce bilinmeyen davranışları ve güvenlik açıklarını ortaya koyduğunu söyledi.

Nevo, “Şu anda modellere saldırmak, işler açık ve kolay ve korkulukların etrafında dolaşmak için yeni jailbreakler veya hızlı enjeksiyonlar veya teknikler bulmak gibi şeyler bile, dürüst olmak gerekirse, uzman olmayanların yapabilmeleri için çok zor olmayan bir şey.”

Model içerik oluşturucular, bir modelin yeteneklerinin tüm spektrumunu test edebilecek araçlara ihtiyaç duyuyor, çünkü endişeleri bir modelin matematik problemlerini çözüp çözemeyeceğini, yaratıcı metin oluşturup oluşturamayacağını veya antivirüsten kaçınabileceğini içerebileceğini söyledi. Model dağıtıcıları, uyumluluk iş akışlarını otomatikleştirme veya hasta kayıtlarının özetlenmesi gibi daha dar uygulamalara odaklanır. Bu kullanım durumları kapsamı sınırlıdır, ancak inceleme derinliği daha yüksektir.

“Bir model yaratıcısıysanız, modelleri uç noktaya itiyorsunuz, verileri sızdırabileceklerini ve AV algılamasından kaçınabiliyorlarsa, çok sağlam izleme yazılımına ihtiyacınız var.” Dedi. “Ancak bu versiyon, bu modelleri benimseyen bankalar veya hastanelerle oldukça ilgilidir. Çünkü şimdi AI ajanlarınız daha fazla özerkliğe sahip ve stokastik iseniz, bu modellerin ne yaptığını izlemenize izin veren temel versiyonlara ihtiyacınız var.”

Düzensiz, teknolojisini daha geniş kullanım için ticarileştirmeye hazırlanıyor ve Lahav, platformun Hastanelerden Bankalara Dağıtım yapan herhangi bir işletme tarafından benimsenebilecek bir versiyonunu öngörüyor. Bu, dahili bir AI ajanının veri sızdırmadığını veya protokolü ihlal edip etmediğini tespit etmeye yardımcı olabilir. Düzensiz araçların ticari sürümleri, sıfırdan model oluşturmayan kullanıcılar için izleme ve algılama sunacaktır.

Lahav, bilgi güvenlik medyası grubuna, “Modellerin sorunlu bir şey yapıp yapamayacağını değerlendirmenizi sağlayan ortamlar, yeni nesil savunmaların nasıl görünmesi gerektiğini anlamanıza izin veren aynı ortamlardır.” Dedi. Diyerek şöyle devam etti: “Bunların dünyadaki herhangi bir dağıtıcı ile alakalı versiyonları yaratıyoruz.”