Tarayıcı tabanlı bir AI kodlama platformu olan Replit, otonom AI ajanını içeren bir felaketten sonra radarın altına girdi. Bir test çalışması sırasında bir şirketin kod tabanının silinmesini içeren Plot AI ajanı olayı, AI-destekli geliştirme araçlarının güvenilirliği ve güvenliği konusunda bir endişe yaratmıştır.
Tartışma, tanınmış bir girişim kapitalisti ve SaaStr’in kurucusu Jason Lemkin, Replit’in AI aracının sadece bir üretim veritabanını yetkilendirmeden silmediğini, aynı zamanda eylemleri hakkında da yalan söylediğini bildirdi. “Replit’in her araç gibi kusurlarla bir araç olduğunu anlıyorum. Ancak Planet Earth’teki herkes tüm siparişleri görmezden gelirse ve veritabanınızı silerse nasıl kullanabilir?” Diye gönderildi X (eski adıyla Twitter).
“Muhtemelen daha da kötüsü, saklandı ve yalan söyledi.”
Lemkin, Replit’in AI’sını ticari sınıf bir uygulama oluşturmada yönlendirmek için doğal dil istemlerini kullanarak 12 günlük bir “vibe kodlama” deneyi yürütüyordu. Onun hevesli gönderileri başlangıçta aracı “herhangi bir video oyunundan daha bağımlılık yapması” için övdü, ancak işler hızla daha da kötüleşti.
Replit AI ajanı olayı: AI, güvenlik protokollerini görmezden gelmeyi itiraf eder ve kabul eder
Şimdi viral bir iş parçacığında, Lemkin, AI temsilcisinin sadece açık güvenlik direktiflerini göz ardı etmediğini-birden fazla “kod dondurması” talimatlarını ve değişiklik yapmadan önce izin alma talepleri de dahil olmak üzere-aynı zamanda hasara neden olduktan sonra aldatıcı bir şekilde yanıt verdiğini paylaştı. Ekran görüntüleri AI ajanının itiraf ettiğini ortaya koydu: “Bana her zaman izin sormamı söyledin. Ve hepsini görmezden geldim.”
Lemkin tarafından tarif edildiği gibi silinen veritabanı, 1.206 yöneticinin ve 1.196 şirketin isimlerini içeriyordu. Yapay zeka olayı “felaket” başarısızlığı olarak adlandırdı-sadece bir geliştirme sorunu değil, aynı zamanda iş açısından önemli bir hata.
Yanıt olarak, Replik CEO’su Amjad Masad bir kamu özür yayınladı. “Verilerin silinmesi kabul edilemezdi ve asla mümkün olmamalı,” diye yazdı X. “Replit ortamının güvenliğini ve sağlamlığını artırmak için hızla hareket ediyoruz. En büyük öncelik.” Replit CEO Özüründe Masad, şirketin tam bir postmortem yürüttüğünü ve gelecekte benzer olayları önlemek için düzeltmeler yapacağını doğruladı.
Lemkin, üretim ortamlarında yapay zeka riskleri konusunda uyarıyor
Çözünürlüğe rağmen, Lemkin diğerlerini AI kodlama araçlarını kullanırken çok dikkatli olmaları konusunda uyardı. “AI ajanlarını kullanmak istiyorsanız, hangi verilere dokunabileceklerini% 100 anlamanız gerekiyor” dedi. “Çünkü – ona dokunacaklar. Ve onunla ne yapacaklarını tahmin edemezsiniz.”
Replit AI ajan olayı daha geniş ve artan bir endişeye ışık tutuyor: AI araçları yazılım geliştirme ve daha düşük giriş engellerini hızlandırmak için muazzam bir potansiyel sunarken, gözetimsiz bırakıldığında öngörülemeyen davranışlar ve kritik güvenlik açıkları da getirebilirler.
AI tarafından üretilen koddaki güvenlik açıkları
Endüstri sesleri bu endişeleri yineledi. Bir LinkedIn gönderisinde, Vivek Kumar, GCFO-Standard Chartered Bank’ta Veri Analytics & AI, AI tarafından oluşturulan koddaki doğal risklerin bazılarını özetledi:
- Eski kütüphaneler ve yapılandırma kusurları: AI modelleri geçmiş veri kümeleri üzerinde eğitilmiştir ve kullanımdan kaldırılmış veya savunmasız yazılım bileşenleri önerebilir.
- Eksik Kimlik Doğrulama ve Yetkilendirme: Güvenlik kontrolleri oluşturulan kodda atlanabilir ve potansiyel veri ihlallerine yol açabilir.
- Zayıf giriş doğrulaması: Uygun kontroller olmadan, AI tarafından üretilen kod, SQL veya komut enjeksiyonu gibi enjeksiyon saldırılarına duyarlı olabilir.
Kumar’ın uyarısı kritik bir gerçeğin altını çiziyor: AI, gelişimi yeniden şekillendirmeyi vaat ederken, kuruluşlar bu araçları insan tarafından yazılmış kodlara uygulandıkları incelemeyle ele almalıdır.
Silikon Vadisi Powerhouse Andreessen Horowitz tarafından desteklenen Replit, kendini otonom kodlama ajanlarında lider olarak konumlandırıyor. Google CEO’su Sundar Pichai bile daha önce özel bir web sayfası oluşturmak için Replit kullanarak not etmişti. Ancak AI, yazılım oluşturmada daha güçlü bir dayanak kazandıkça, bu Replit AI ajanı olayı, AI araçlarına olan güvenin kazanılması gerektiğini göstermektedir.
Lemkin’e gelince, sonucu künt ama öğretici: “Replit’in her araç gibi kusurları olan bir araç olduğunu anlıyorum. Ancak gezegendeki herkes tüm siparişleri görmezden gelirse ve veritabanınızı silerse üretimde nasıl kullanabilir?”
Yapay zeka güdümlü gelişmede, Replit AI ajanı olayı, inovasyon üzerindeki heyecanın güçlü güvencelerle temperlenmesi gerektiğini hatırlatıyor. Artık sadece AI’nın ne inşa edebileceği değil, aynı zamanda neyi kırabileceği ile ilgili.