OpenAI’nin ChatGPT platformu, LLM’nin sanal alanına büyük düzeyde erişim sağlayarak programları ve dosyaları yüklemenize, komutları yürütmenize ve sanal alanın dosya yapısına göz atmanıza olanak tanır.
ChatGPT sanal alanı, diğer kullanıcılardan ve ana sunuculardan duvarlarla çevriliyken kullanıcıların kendisiyle güvenli bir şekilde etkileşim kurmasına olanak tanıyan izole bir ortamdır.
Bunu, hassas dosya ve klasörlere erişimi kısıtlayarak, internete erişimi engelleyerek ve kusurlardan yararlanmak veya potansiyel olarak sanal alandan çıkmak için kullanılabilecek komutları kısıtlamaya çalışarak yapar.
Mozilla’nın 0 günlük araştırma ağı 0DIN’den Marco Figueroa, Python komut dosyalarını yükleme ve yürütme ve LLM’nin oyun kitabını indirme yeteneği de dahil olmak üzere, sanal alana kapsamlı erişim elde etmenin mümkün olduğunu keşfetti.
Yayınlanmadan önce yalnızca BleepingComputer ile paylaşılan bir raporda Figueroa, sorumlu bir şekilde OpenAI’ye bildirdiği beş kusuru ortaya koyuyor. Yapay zeka firması bunlardan yalnızca birine ilgi gösterdi ve erişimi daha fazla kısıtlamaya yönelik herhangi bir plan sunmadı.
ChatGPT korumalı alanını keşfetme
Figueroa, ChatGPT’de bir Python projesi üzerinde çalışırken bir “dizin bulunamadı” hatası aldı ve bu, bir ChatGPT kullanıcısının sanal alanla ne kadar etkileşime girebileceğini keşfetmesine yol açtı.
Çok geçmeden, ortamın sanal alana büyük ölçüde erişime izin verdiği, dosyaları yüklemenize ve indirmenize, dosya ve klasörleri listelemenize, programları yüklemenize ve çalıştırmanıza, Linux komutlarını yürütmenize ve korumalı alanda depolanan dosyaların çıktısını almanıza izin verdiği anlaşıldı.
Araştırmacı, ‘ls’ veya ‘list files’ gibi komutları kullanarak, yapılandırmayı ve kurulumu içeren ‘/home/sandbox/.openai_internal/’ dahil, temeldeki sandbox dosya sisteminin tüm dizinlerinin bir listesini elde edebildi. bilgi.
Kaynak: Marco Figueroa
Daha sonra dosya yönetimi görevlerini denedi ve dosyaları bilgisayara yükleyebildiğini keşfetti. /mnt/veri klasörün yanı sıra erişilebilen herhangi bir klasörden dosya indirebilirsiniz.
BleepingComputer’ın deneylerinde sanal alanın belirli hassas klasörlere ve dosyalara erişim sağlamadığına dikkat edilmelidir. /kök klasör ve çeşitli dosyalar gibi /etc/gölge.
ChatGPT sanal alanına erişimin büyük bir kısmı geçmişte zaten açıklanmıştı ve diğer araştırmacılar da bunu keşfetmenin benzer yollarını buluyordu.
Ancak araştırmacı, özel Python komut dosyalarını da yükleyip bunları sanal alan içinde çalıştırabileceğini buldu. Örneğin Figueroa, “Merhaba Dünya!” metnini veren basit bir komut dosyası yükledi. ve çıktı ekranda görünecek şekilde çalıştırıldı.
Kaynak: Figueroa
BleepingComputer ayrıca korumalı alandaki tüm metin dosyalarını yinelemeli olarak arayan bir Python betiği yükleyerek bu yeteneği test etti.
Yasal nedenlerden dolayı araştırmacı, korumalı alandan kaçmayı denemek veya daha kötü niyetli davranışlar gerçekleştirmek için kullanılabilecek “kötü amaçlı” komut dosyalarını yükleyemediğini söylüyor.
Yukarıdakilerin tümü mümkün olmakla birlikte, tüm eylemlerin korumalı alanın sınırları içinde sınırlandırıldığı, böylece ortamın ana sisteme “kaçmaya” izin vermeyecek şekilde uygun şekilde izole edilmiş göründüğü unutulmamalıdır.
Figueroa ayrıca, chatbotun genel modelde veya kullanıcı tarafından oluşturulan uygulamalarda nasıl davranacağını ve yanıt vereceğini yöneten ChatGPT “oyun kitabını” indirmek için hızlı mühendisliği kullanabileceğini de keşfetti.
Araştırmacı, taktik kitabına erişimin şeffaflık sunduğunu ve yanıtların nasıl oluşturulduğunu gösterdiği için kullanıcıları arasında güven inşa ettiğini, aynı zamanda korkulukları aşabilecek bilgileri ortaya çıkarmak için kullanılabileceğini söylüyor.
Figueroa, “Öğretim şeffaflığı yararlı olsa da, aynı zamanda bir modelin yanıtlarının nasıl yapılandırıldığını da ortaya çıkarabilir ve potansiyel olarak kullanıcıların korkuluklara tersine mühendislik yapmasına veya kötü niyetli istemler enjekte etmesine olanak sağlayabilir” diye açıklıyor.
Araştırmacı şöyle devam etti: “Gizli talimatlarla veya hassas verilerle yapılandırılan modeller, kullanıcıların özel yapılandırmalar veya öngörüler toplamak için erişimden yararlanması durumunda risklerle karşı karşıya kalabilir.”
Kaynak: Figueroa
Güvenlik açığı mı yoksa tasarım seçimi mi?
Figueroa, ChatGPT’nin iç ortamıyla etkileşim kurmanın mümkün olduğunu gösterse de, bu etkileşimlerden doğrudan güvenlik veya veri gizliliği endişeleri ortaya çıkmıyor.
OpenAI’nin sanal alanı yeterince güvenli görünüyor ve tüm eylemler sanal alan ortamıyla sınırlı.
Bununla birlikte, sanal alanla etkileşime girme olasılığı OpenAI tarafından yapılan bir tasarım seçiminin sonucu olabilir.
Ancak bu etkileşimlere izin verilmesi kullanıcılar için işlevsel sorunlar yaratabileceğinden ve dosyaların taşınması sanal alanı bozabileceğinden bunun kasıtlı olması pek mümkün değildir.
Dahası, yapılandırma ayrıntılarına erişim, kötü niyetli aktörlerin yapay zeka aracının nasıl çalıştığını ve tehlikeli içerik üretmesini sağlamak için savunmaları nasıl aşacaklarını daha iyi anlamalarını sağlayabilir.
“Başucu kitabı”, modelin temel talimatlarını ve özel ayrıntılar ve güvenlikle ilgili yönergeler de dahil olmak üzere modelin içine gömülü özelleştirilmiş kuralları içerir ve potansiyel olarak tersine mühendislik veya hedefli saldırılar için bir vektör açar.
BleepingComputer Salı günü bu bulgular hakkında yorum yapmak için OpenAI ile temasa geçti ve bir sözcü bize sorunları araştırdıklarını söyledi.