Okunabilirlik için sadece ara “sohbet botu.“ Kullandığım belirli örnekler OpenAI’den‘s uygulaması, ancak düşünebiliriz bu, başkalarının sunmaya başlayacağı yeni bir teknik yetenek türü olarak ve ben de bugün gördüğümüzün ötesine geçin.
İzin vermek‘s neler yapabileceğiyle başlayın, neyin ters gidebileceğini sorun, bu sorunları yönetip yönetemeyeceğimize bakın ve ardından değerlendirin.
Chatbot’ların Yapabilecekleri
Üzerinde Açık Web Uygulaması Güvenlik Projesi® (OWASP) Slack, @DS istediği yerde bir ekran görüntüsü paylaştı. “olan bir sistem için tüm yanıltma tehditlerini listeler. arka uç hizmet etmek arka uç sütunlu bir tablo biçiminde Kubernetes ortamında hizmet etkileşimi — tehditler, açıklama ve azaltmalar.“
Çıktı büyüleyici. Başlar “İşte bazı örnekleri listeleyen bir tablo …“ gelen anahtara dikkat edin “herşey“ ile “bazı örnekler.“ Ama daha fazla diyeceğim şey şu kitablo değil kötü. Olarak @DS, bunun kendisine bir temel sağladığını ve saatler süren manuel analiz çalışmasından tasarruf ettiğini söylüyor. Diğerleri, kodun ne yaptığını açıklamak için kullandı veya ile bu koddaki güvenlik açıklarını bulun.
Chatbot’lar (daha spesifik olarak burada Büyük Dil ModelleriGPT-3 dahil) giymek‘t gerçekten bir şey bilmek Örtünün altında yaptıkları, bir istemi yanıtlamak için istatistiksel olarak olası sonraki kelimeleri seçmektir. Bunun anlamı acaklar papağan birisinin eğitim verilerinde hakkında yazdığı tehditler. Üstüne üstlük, acaklar antropomorfize eden beyinlerimize analoji yoluyla akıl yürütme gibi görünen bir şey için sembol değiştirmeyi kullanın.
Microsoft’u oluşturduğumda SDL Tehdit Modelleme Aracı, insanların aracı açtığını gördük ve olmak ne yapacağımızdan emin değiliz, bu yüzden düzenleyebilecekleri basit bir şema koyduk. bunu ele alarak konuştuk “boş sayfa sendromu“ Birçok kişi bu sorunla karşılaşıyor çünkü onlar‘tekrar öğrenme tehdidi modellemesi.
Ne yanlış gidebilir?
Sohbet robotları tehdit listeleri üretebilirken, onlar‘tekrar üzerinde çalıştığınız sistemi gerçekten analiz etmemek. Onlar‘tekrar benzersiz tehditleri kaçırma olasılığı yüksektir ve onlar‘tekrar yetenekli ve odaklanmış bir kişinin görebileceği nüansı gözden kaçırabilir.
Chatbot’lar yeterince iyi olacak ve bu “çoğunlukla iyi yeterli“ insanları rahatlatmaya yetiyor ve yakından ilgilenmemek. Ve bu gerçekten kötü görünüyor.
değerlendirmemize yardımcı olması için, İzin Vermek‘s adım dönüş yoluve neden yaptığımızı düşünün tehdit modeli.
Tehdit Modelleme Nedir? Güvenlik Mühendisliği Nedir?
Biz sorunları öngörmemize ve ele almamıza yardımcı olacak tehdit modelidaha güvenli sistemler sunmak için. Mühendisler, tasarım ticareti yaparken güvenlik konularını aydınlatmak için tehdit modeli–kapalı. Ve bu bağlamda, sonsuz sayıda ucuz olanaklara sahip olmak, Bu makaleye başladığımda beklediğimden çok daha heyecan verici.
ben sahibim tehdit modellemeyi bir akıl yürütme biçimi olarak tanımlamıştır. analoji ve birçok kusurun, kimsenin onları arayacağını bilmediği için var olduğuna dikkat çekti. Bir keresinde biz doğru yerde, doğru bilgiyle bak, kusurlar olabilir gayet açık. (O‘O kadar önemli ki bunu kolaylaştırmak yeni kitabımın ana hedefi.)
Çoğumuz talip yapmak harika bir tehdit modellemesi, heyecan verici bir sorunu keşfettiğimiz türden, bir şey o‘LL bize güzel bir makale veya blog yazısı getirin ve orada sadece başınızı sallarsanız … BT‘s bir tuzak.
Yazılım geliştirmenin çoğu sıkıcı bir yönetimdir. görünüşte bitmeyen ayrıntılar kümesiçok olarak şeyleri yeni listelere koymak için listeleri yinelemeko zamanlar onları bir boru hattında bir sonraki aşamaya göndermek. Test geliştirme gibi tehdit modellemesi faydalı olabilir çünkü mühendislik çalışmalarımızda bize güven verir.
Ne Zaman Geri Adım Atıyoruz?
Yazılım zor çünkü BT‘s çok kolay. bu görünen kodun şekillendirilebilirliği, oluşturmayı kolaylaştırır ve BT‘s ne sıklıkta veya ne kadar derin geri adım atılacağını bilmek zor. Büyük yazılım projelerini yönetme konusundaki enerjimizin büyük bir kısmı (hem ısmarlama hem de genel kullanım yazılımları dahil) neyin ne olduğunu değerlendirmeye gider. biz‘tekrar yapmak, ve öncelikler üzerinde uyum sağlanması — tüm bu diğer görevler ara sıra, yavaş ve nadiren yapılır, çünkü onlar‘tekrar masraflı.
BT‘s bugün sohbet robotlarının yaptığı gibi değil, ama görebiliyordum rapor etmek için ayarlanan benzer yazılım herhangi bir girdinin modellerini ne kadar değiştirdiği. Yazılım taahhütlerine, e-postadaki tartışmalara bakma ve Seksiklikbiletler ve diğer çalışmalara benzerliğini değerlendirmemize yardımcı olmak, enerjiyi derinden değiştirebilir projeleri (büyük veya küçük) yolunda tutmak için gerekli. Ve şu, tehdit modellemeye de katkıda bulunur.
Tüm bunlar, insan döngülerini daha ilginç işler için serbest bırakır.