Kenwood Lisesi’ndeki bir yapay zeka (AI) tespit sistemi, bir öğrencinin patates cipsi paketini yanlışlıkla silah olarak işaretledi ve polisin tepkisini tetikledi.
16 yaşındaki çocuk bir paket Doritos yemeyi bitirmiş ve işi bitince onu cebinde buruşturmuştu. Ancak okulun yapay zeka tabanlı silah tespit sistemi, buruşuk folyoyu ateşli silahla karıştırdı.
Birkaç dakika sonra, çok sayıda polis arabası geldi ve memurlar silahlarını çektiler, bu da olay olmaması gereken durumu dramatik bir şekilde tırmandırdı.
Öğrenci şunu hatırlıyor:
“Polis, sekiz polis arabası gibi geldi ve sonra hepsi bana silah doğrultup yere yatmamı söyleyerek dışarı çıktı. Ben de ‘neler oluyor?’ der gibi ellerimi havaya kaldırıyordum. Bana dizlerimin üstüne çökmemi söyledi ve beni tutuklayıp kelepçeledi.”
Bu gibi sistemler, silahların şekli ve görünümü için görüntüleri veya video yayınlarını tarar. Riski azaltmak için tasarlanmışlardır, ancak yalnızca arkalarındaki algoritmalar ve bunu takip eden insan yargıları kadar iyidirler.
Başkomiser Dr. Myriam Rogers gazetecilere şunları söyledi:
“Program insan doğrulamasına dayanıyor ve bu durumda program yapması gerekeni yaptı; bir uyarı sinyali verdi ve insanlar o anda endişelenecek bir durum olup olmadığını öğrenmek için bir göz attı.”
Okul alanlarında silahlara karşı güvenlik önlemleri alınması gerektiğini anlıyoruz ancak bu durum daha iyi ele alınabilirdi. Olay yerine gelen sekiz polis arabası ve ellerinde silah olan polis memurları, bırakın ilgi odağı olan öğrenciyi, olaya tanık olan öğrencileri bile mutlaka etkilemiştir.
Okul müdürü Kate Smith’in söylediği gibi:
“Bunun hem aranan kişi hem de olaya tanık olan diğer öğrenciler için ne kadar üzücü olduğunu anlıyoruz.”
Yapay zeka güvenlik araçları öğrencileri korumak için tasarlanmıştır, ancak hata yaparlar ve başarısız olduklarında önlemeleri gereken korkuyu yaratabilirler. Bu sistemler bir tehdit ile zararsız bir atıştırmalık arasındaki farkı güvenilir bir şekilde söyleyene kadar, okulların daha güçlü korkuluklara ve biraz daha insani algıya ihtiyacı var.
Yalnızca tehditleri rapor etmiyoruz; onları kaldırıyoruz
Siber güvenlik riskleri asla bir manşetin ötesine yayılmamalıdır. Malwarebytes’i bugün indirerek tehditleri cihazlarınızdan uzak tutun.