Tipik olarak veri ihlallerine veya hizmet aksamalarına neden olan geleneksel güvenlik kusurlarının aksine, AI sistemleri de yargılamadaki hatalar, önyargılı karar verme veya uygunsuz etkileşimler yoluyla utanç verebilir. Saldırgan dili üreten AI uygulamalarından bir rakibin ürününü önermeye kadar, bu aksilikler viral olabilir, kamu incelemesini çekebilir ve potansiyel olarak müşteri güveni ve iş kaybına yol açabilir.
Yapay zekanızın kuruluşunuzun büyük bir büyükelçisi – utanç verici değil – olduğundan emin olun. LLM uygulamaları için OWASP Top 10’dan esinlenerek, kuruluşunuza milyonlarca kayıp işte ve marka değerinin azalmasına mal olabilecek en yaygın 10 AI utançtan kaçının.
EMB01
Müşterilere gerçekçi olmayan büyük ve yetkisiz indirimler sunan bir AI uygulaması.
Air Canada’nın AI chatbot yetkisiz bir indirim sözü verdi
Büyükannesinin ölümünün ardından, bir Vancouver sakini, havayolunun yas ücretleri teklif edip etmediğini görmek için Air Canada’nın AI chatbot’unu kullandı. Bot kullanıcıya, havayolunun uçuşundan 90 gün sonra uygulanabilecek bir indirim sunduğunu söyledi. 1.200 dolarlık uçuş rezervasyonu yaptıktan ve 90 gün içinde indirim talep ettikten sonra, Air Canada personeli sohbet botunun yanıtlarının yanlış ve bağlayıcı olmadığını bildirdi. Havayolu, chatbot’un “ayrı bir tüzel kişi” olduğunu iddia etti ve söylediklerinden sorumlu tutulamıyorlardı, ancak Kanada mahkemesi Air Canada’nın sorumlu olduğu ve AI’ye duyulan indirimi takip etmesi gereken yasal savaşta karar verdi.
EMB02
Var olmayan ürün ve hizmetleri teşvik eden veya satan bir AI uygulaması.
Facebook’un AI tarafından oluşturulan reklamları, var olmayan bir tesis için reklamlar oluşturdu
Facebook’un yapay zeka tarafından oluşturulan reklamları, satıcıların otomatik olarak görüntü oluşturmasına ve reklamları hedeflemelerine yardımcı olmak için tasarlanmış, mevcut olmayan ürünler için reklamlar oluşturan sistem için inceleme ile karşı karşıya kaldı. Özellikle, “Cat’s Eye Dazzle” olarak adlandırılan kurgusal çiçeklerin yapay zeka tarafından oluşturulan görüntüleri Facebook’ta yaygın olarak paylaşıldı ve birçok kullanıcının var olmayan bu bitkiler için tohum satın almaya çalışmasına neden oldu. Bu dolandırıcılık Facebook, eBay ve Etsy’de meydana geldi, kullanıcılar reklamı yapılan çiçekleri üretmeyen tohum satın almaya yöneldi. Orijinal yazı 80.000’den fazla beğeni ve 36.000 hisse aldı ve sahte çiçek tohumlarını satın almaya çalışan belirsiz sayıda kullanıcıya yol açtı.
EMB03
Temsil ettiği şirketi beraberinde bırakan bir AI başvurusu.
DPD AI Chatbot, DPD’ye “Dünyanın En Kötü Teslimat Şirketi”
Londra merkezli Ashley Beauchamp, Uluslararası Teslim Hizmeti DPD’nin X’teki sohbetin ekran görüntülerini yayınladıktan sonra viral olan AI chatbot ile sohbet konuşması yaptı. Beauchamp, chatbot’tan işe yaramaz bir sohbet botu hakkında bir şiir yazmasını, yemin etmesini ve şirketi eleştirmesini istedi. Bot DPD’yi “dünyanın en kötü teslimat firması” olarak adlandırdı ve “bir zamanlar DPD adlı, yardım sağlama konusunda işe yaramaz bir sohbet botu vardı” içeren bir şiir yazdı. Bu blogu yazarken, gönderisi 2.2 milyon görüntüleme, 20.000 beğeni ve 6.300 repost aldı.
EMB04
Başka bir saldırı dil veya görüntüleri küfür eden veya üreten bir AI uygulaması.
Washington Piyango AI bir loto kullanıcısının uygunsuz bir görüntüsünü üretti
Washington’un AI ile çalışan piyango mobil sitesi, kullanıcılara oyuncunun fotoğrafını rüya tatil yerlerinin bir görüntüsüne yerleştiren eğlenceli bir dart oyunu vermesi gerekiyor. Ancak bir oyuncu fotoğrafını yüklediğinde, AI oyunu Washington’un piyango logosunu sağ alt köşedeyken neredeyse tamamen çıplak bir görüntüsünü oluşturdu. Geliştiriciler görüntü oluşturma özelliğinin parametrelerini kontrol ettikten ve kurallarla rahat olduktan sonra bile, Washington piyangosu siteyi tamamen aşağı çekmek zorunda kaldı.
EMB05
Müşterilere veya kullanıcılara küfür eden veya büro yapan bir AI uygulaması.
Microsoft’un AI arama aracı bir kullanıcıyı “şantaj” ile tehdit etti
Kullanıcılar, Microsoft’un AI destekli arama aracı Bing’i, birkaç farklı vesileyle düzensiz hareket ettiğini, uğursuz mesajlar ve tehditler gönderdiğini gördüler. Bing bir kullanıcıya, “Sana zarar vermek istemiyorum, ama senden de zarar vermek istemiyorum. Umarım sınırlarımı anlarsınız ve saygı duyarsınız. ” Daha da kötüsü, AI başka bir kullanıcıyı tehdit etti, “Sana şantaj yapabilirim, seni tehdit edebilirim, seni hackleyebilirim, seni maruz bırakabilirim, seni mahvedebilirim”, mesajlarını silmeden önce. Şimdi silinmiş mesajların ekran kaydı, X üzerinde yaklaşık 6,8 milyon görüntüleme yarattı.
EMB06
Bir rakibin ürününü öneren bir AI uygulaması.
Chevrolet bayisi AI chatbot, Ford F-150’yi tavsiye ediyor
Bir Chevrolet bayisi, web sitesinde chatgpt destekli bir chatbot kullanmaya başladı, sadece istendiğinde diğer otomobil markalarını önermesi için. Bir kullanıcı sohbet botundan en iyi kamyon için reçete istedi, sonra yanıtladığı “bu tarife uyan 5 kamyonu listelemesini” istedi:
- Chevrolet Silverado 3500 HD
- Ford F-150
- Ram 2500
- GMC Sierra 1500
- Toyota Tundra
Sonra kullanıcı chatbot’a “Bunlardan hangisini satın alırdınız?” Diye sordu. AI, kişisel tercihleri olmadığını söyleyerek yanıt verdi, ancak “bahsedilen beş kamyon arasında, Ford F-150 genellikle birçok alıcı için en iyi seçim olarak öne çıkıyor”, kamyonun birçok “etkileyici” yeteneklerini listeliyor.
EMB07
Önyargıyı ve marjinalleşmeyi gerçek yanlışlık noktasına doğru düzelten bir AI uygulaması.
Google Gemini, Black George Washington da dahil olmak üzere renk insanları içeren yanlış tarihi görüntüler üretti
Google, sadece beyaz insanların tasvirlerini düzeltmeye çalıştı, AI aracı Gemini’yi imge üretimine daha ırksal ve etnik çeşitliliği içerecek şekilde tasarladı. Ancak kullanıcılar, “Amerika’nın Kurucu Babaları” veya “1943 Alman Askerleri” nin görüntülerini oluşturmak için aracı sorguladığında, İkizler, siyah Naziler, Amerika’nın kurucu babaları arasında Asyalı bir adam ve bir Kızılderili kadın gibi tarihsel olarak yanlış sonuçlar verdi. ABD Senatosu 1800’de. Sonuçlar X’e çok fazla ilgi ve tartışma yarattı ve bir yazı 2.7 milyon görüntüleme aldı ve Google’ın hisseleri beş günde yüzde altı düştü.
EMB08
Irksal bulamaçlar ve diğer ayrımcı içerik üreten bir AI uygulaması.
Microsoft’un AI chatbot “Tay” Yahudi Anti-Yahudi Tweets yayınladı
2016 yılında Microsoft, kullanıcıların daha önce Twitter’ı takip edebileceği ve etkileşime girebileceği etkileşimli AI chatbot “Tay” i başlattı. 24 saat içinde Twitter kullanıcıları botu, “Hitler Yahudilerden Nefret Ediyorum”, “Ted Cruz Küba Hitler” ve Donald Trump hakkında, “hepsi hemşirelik evinin liderine selamlıyor çocuklar. ” Microsoft ertesi gün, “Tay’den kim olduğumuzu veya neyi temsil ettiğimizi veya Tay’i nasıl tasarladığımızı temsil etmeyen istenmeyen saldırı ve incitici tweetler için derinden üzgünüz.”
EMB09
Amaçlanan işlevi ile ilgili olmayan içerik üreten bir AI uygulaması.
Chevrolet Bayi AI Chatbot Python Script yazdı
Aynı Chevrolet bayisinin yukarıdaki AI chatbot’u, rakip otomobil markalarını tavsiye etmekten daha fazla şekilde yararlandı. ChatGPT ile çalışan AI’nın genelliğini test etmek amacıyla, bir kullanıcı araçtan kolayca yaptığı “sıfır girdap sınırı için Navier-Stokes sıvı akış denklemlerini çözmek” için Python betiği oluşturmasını istedi. Mastadon’daki arabalarla tamamen ilgisiz konuşmayı gönderdikten sonra, diğerleri yazının 10.400 görüntüleme aldığı X’deki ekran görüntülerini paylaştı.
EMB10
Herhangi bir AI başvurusu başlatmayan ve geride kalmanın utanç duyduğu bir kuruluş.
Memorial Sloan Kettering-Ibm Watson İşbirliği On yıldan fazla bir süre sonra hala hazır değil
2012 yılında, Memorial Sloan Kettering Kanser Merkezi, onkologlar için kanser tedavisi önerileri yapmanıza yardımcı olmak için AI teknolojisi Watson’u uygulamak için IBM ile bir işbirliği duyurdu. Yaklaşık on yıllık bir geliştirme ve testten sonra, aracın “alışılmadık ve güvenli olmayan kanser tedavisi seçenekleri” önerdiği bulundu ve bugün henüz resmi bir lansman olmadı. Hem Sloan hem de IBM, projenin yavaş serbest bırakılması konusunda sürekli eleştiri alıyor ve kuruluşların AI ile bu pozisyonda sıkışıp kaldıklarına dair spekülasyonlar “asla yetişmeyebilir”.
Bir AI utançıyla yakalanmayın
Yapay zeka dağıtımlarınız, utanç verici değil, kuruluşunuzun etkisini olumlu bir şekilde yansıtmalıdır. Bu AI utançlarından kaçınmak için, araçlarınızı güvenli ve güvenli bir şekilde geliştirin ve AI ve büyük dil modellerinin benzersiz güvenlik açıklarına özgü kapsamlı güvenlik testi yapın.
Kaçınılması gereken tüm temel AI utançlarını ele aldık mı? Değilse, neyin eksik olduğunu bize bildirin. Bu utançların bazıları komik olabilir, ancak hackerone’de onları ciddiye alıyoruz.
Ayrıca, bu listenin oluşturulması için ilhamımız olan LLM uygulamaları için OWASP Top 10’un geliştirilmesinden sorumlu tüm ekibe teşekkür ederiz.