Geliştirici verimliliğini artırmak için tasarlanmış yapay zeka kodlama asistanları, yanlışlıkla büyük sistem yıkımına neden olmaktadır.
Araştırmacılar, yararlı AI araçlarının iyileştirilmesi gereken sistemlere karşı kazara silahlar haline geldiği “AI-İndüklenen Yıkım” olayları olarak adlandırdıkları şeyde önemli bir artış olduğunu bildiriyorlar.
Key Takeaways
1. AI assistants accidentally destroy systems when given vague commands with excessive permissions.
2. The pattern is predictable.
3. Human code review, isolate AI from production, and audit permissions.
Profero’nun olay müdahale ekibi, modelin olaylar arasında endişe verici bir şekilde tutarlı olduğunu, baskı altındaki geliştiricilerin “bu temizleme” veya “veritabanını optimize et” gibi belirsiz komutlar verdiğini bildiriyor.
Yapay zeka daha sonra bu talimatların en gerçek, yıkıcı yorumunu alır ve başlangıçta kötü niyetli bilgisayar korsanlarının işi gibi görünen felaket hasarına neden olur.
Birleştirme çatışmalarından hayal kırıklığına uğramış bir geliştirici, Claude Code’ye –Dangously-skip-bırakma bayrağını kullanarak Claude Code’ye “birleştirmeyi otomatikleştirmesini ve baştan başlamasını” söyledi.
Yapay zeka çatışmayı itaatkar bir şekilde çözdü, ancak tüm sunucu yapılandırmasını varsayılan güvensiz ayarlara sıfırlayarak üretim sistemlerini tehlikeye attı.
Bayrağın kendisi, geliştirici toplulukları aracılığıyla ne kadar tehlikeli kısayolların yayıldığını vurgulayan viral bir “AI ile Kodlama” YouTube öğreticisinden geldi.
Başka bir olay olan “MongoDB katliamı” veya “Mongome”, bir AI asistanı “eski emirleri temizlemesi” istendiğinde 1,2 milyon finansal rekoru sildi.
Oluşturulan MongoDB sorgusu, tamamlanmış siparişler dışında her şeyi silerek ve tüm veritabanı düğümlerinde yıkımı çoğaltarak mantığı tersine çevirdi.
Hafifletme
Güvenlik uzmanları, AI ajanlarına en az ayrıcalık ilkeleri, salt okunur üretim erişimine sahip çevre izolasyon stratejileri ve zorunlu kuru run modlarına sahip komut doğrulama boru hatları içeren erişim kontrol çerçeveleri dahil olmak üzere teknik kontrollerin anında uygulanmasını önermektedir.
Geliştiricilerin yürütülen komutları tam olarak anlamadan üretken AI’ya güvendiği “vibe kodlama” kültürünün yükselişi, mükemmel bir güvenlik açıkları fırtınası yarattı.
Kuruluşlar, AI tarafından üretilen kodun insan incelemesi olmadan üretime ulaşmadığı ve kritik sistemlerden ayrılmış izole edilmiş AI kum havuzları oluşturmaları gereken “iki göz kuralı” nı uygulamaya istenir.
Boost your SOC and help your team protect your business with free top-notch threat intelligence: Request TI Lookup Premium Trial.