Claude’un Bilgisayar Kullanımı Uyarıcı Bir Masalla Sonlanabilir

Anthropic, güncellenmiş Claude 3.5 Sonnet’in “akıl yürütebildiğini” ve bilgisayarları “insanların yaptığı gibi” kullanabileceğini söyledi. Genel beta özelliği, yapay zeka modelinin basit metin tabanlı işlemlerin ötesinde görevleri gerçekleştirmesine olanak tanır. İmleçleri hareket ettirmek, web sayfalarını açmak, metin yazmak, ekran görüntüleri almak, dosyaları indirmek ve bash komutlarını çalıştırmak gibi genellikle manuel bilgisayar etkileşimi gerektiren görevleri bağımsız olarak yürütebilir.

Kullanımı potansiyel olarak karmaşık iş akışlarını, veri yönetimini ve bilgisayar tabanlı otomasyonu yönetmeye kadar uzanıyor; Anthropic, Asana, Canva ve DoorDash gibi şirketlerin bu özelliği “tamamlanması düzinelerce, hatta bazen yüzlerce adım” gerektiren işler için zaten test ettiğini söylüyor. “

Anthropic, yeni özelliğin hatalı olabileceğini veya hata yapabileceğini söyledi. “Lütfen bilgisayar kullanımının standart API özelliklerinden veya sohbet arayüzlerinden farklı, benzersiz riskler oluşturduğunu unutmayın” dedi. “İnternetle etkileşim kurmak için bilgisayar kullanıldığında bu riskler artıyor.”

Uyarıda, bazı durumlarda Claude’un, kullanıcının talimatlarıyla çelişse bile içerikte bulunan komutları takip edeceği belirtiliyor. Şirket, örneğin web sayfalarındaki veya görsellerdeki talimatların talimatları geçersiz kılabileceğini veya Claude’un hata yapmasına neden olabileceğini söyledi. Bu aslında modelin kendi kendine açtığı dosyalardaki kötü amaçlı talimatları takip ederek sistemi ve bağlı varlıkları siber saldırı riskine sokabileceği anlamına gelir (bkz.: İçeridekiler Microsoft 365 Yardımcı Pilot Yanıtlarını Karıştırıyor).

Şirket, adımların neler içerebileceğine ilişkin ek ayrıntılar olmadan, kullanıcıların hızlı enjeksiyonla ilgili riskleri önlemek için Claude’u hassas verilerden ve eylemlerden izole etmelerini önerdi (bkz.: Herkes Yapay Zeka Botlarını Şifre Dökmek İçin Kandırabilir).

Claude, satın alma yapmak, kişisel kimlik doğrulama gerektiren eylemler gerçekleştirmek veya kendi başına e-posta göndermek gibi görevleri reddetmek için tasarlandı, ancak yapay zeka geliştiricisi Benjamin De Kraker, ek ayrıntı vermeden bu kısıtlamaları aşmak için bir “sarmalayıcı” kullanmanın mümkün olduğunu iddia ediyor.

Yapay zeka güvenlik grubu Equianas Enstitüsü’nün kurucusu Jonas Kgomo, Claude’un bilgisayar kullanımının “denenmemiş yapay zeka güvenlik alanı” olduğunu söyleyerek, aracı siber saldırılar gerçekleştirmek için kullanmanın mümkün olduğunu ekledi.

SocialProof Security CEO’su Rachel Tobac, bu özelliğin, bir makinenin bir web sitesine gitmesini ve kötü amaçlı yazılım indirmesini sağlama görevini otomatikleştirerek veya hassas bilgileri yanlış ellere vererek siber saldırıları “kolayca” ölçeklendirebileceğini söyledi. “Siber suçluların bu aracı nasıl kullanabileceğini düşünerek ter döküyorum” dedi.

Bilgisayar korsanları, yapay zeka modeline verilen talimatları geçersiz kılan kötü amaçlı kod veya istemler içeren web siteleri tasarlayabilir ve onu bir saldırı gerçekleştirmeye zorlayabilir. Ayrıca, siber saldırı veya veri ihlali gibi yapay zeka modelinin neden olduğu kasıtsız zararlardan kimin sorumlu olacağına ilişkin çizgileri de potansiyel olarak bulanıklaştırabileceğini söyledi. “Anthropic’in devasa korkulukları olduğu konusunda büyük ölçüde şüphe duyuyorum. Bu ciddi bir şey” dedi.

Anthropic, Claude’un hassas ayrıntılara erişimini sınırlama ve operasyonlarını izleme tavsiyeleri dışında şu ana kadar spesifik korkulukları ayrıntılı olarak açıklamadı.

Tobac, pek çok insanın gönüllü olarak kendilerini korumak için adım atmasının pek mümkün olmadığını söyledi. “Birçok kişinin, aracın görevleri o anda kafalarını karıştıracak ve büyük sonuçlar doğuracak ciddi izin hataları yapacak şekilde otomatikleştirmesi nedeniyle yanlışlıkla tuzağa düşürülebileceğini biliyorum” dedi.