Büyük dil modellerinin iyileştirilmesi, ‘koda saldırmak için yalnızca bir yol ve kodu savunmak için bir yol daha’ sunar
Sözde bir güvenlik araştırmacısı, OpenAI’nin en son ve en ürkütücü derecede etkileyici büyük dil modeli (LLM) olan ChatGPT’nin yardımıyla görünüşte sahte bir kripto para birimi güvenlik açığını bildirmeye çalıştı ve başarısız oldu.
OUSD stablecoin’deki ‘böcek’ raporu, birkaç kripto para birimi kod deposuna katkıda bulunan bir dağıtılmış sistem mühendisi olan Daniel Von Fange’e gönderildi. Biraz ileri geri gittikten sonra, Von Fange muhatabının en azından kısmen bir bot olduğunu anladı.
Var olmayan bir hata
İlk rapor, OUSD uygulamasındaki iki önemli erişim kontrol değiştiricisinin “kodun hiçbir yerinde tanımlanmadığını” iddia etti. Sonuç olarak, muhabir uyardı, herkes potansiyel olarak bu işlevleri çağırabilir ve ” [smart] sözleşmenin varlıklarını istenmeyen şekillerde”.
Rapor ayrıca, hatanın etkisi ve olası çözümler hakkında birkaç paragraf içerir.
Von Fange, iddiaların açıkça düzmece olduğunu söyledi günlük yudumçünkü orada olmayan dahili kodu çağırmaya çalışırsa kod ne derlenir ne de dağıtılır.
Von Fange, “Önce, sözleşmelerin diğer sözleşmelerden kod devralabileceğini bilmeyen yeni bir ödül avcısı olduğunu varsaydım,” dedi. “Açıkça yanlış bir rapor olsa da, kodun gerçekten orada olup olmadığını kontrol ettim ve muhabire bir bağlantı gönderdim. Güvenlik raporları konusunda hem hızlı hem de paranoyak olmaya çalışıyoruz.”
Gerçekleri yanlış anlayan inatçı bir muhabir
Von Fange, değiştiricilerin başka bir modülden miras alındığını yanıtladıktan sonra, hata raporlayıcısı, istismar edilebilirliği gösterdiği iddia edilen bir kod parçacığı sağlayarak ısrar etti.
Von Fange, kodu tekrar test etti ve açığın çalışmadığını kanıtladı. Ancak muhabir, gerçekleri hala yanlış anlayan başka bir uzun açıklama ile geri döndü.
İLİŞKİLİ Güvenlik firması uyardı: Makine öğrenimi sistemlerine yönelik tehditleri ciddiye alın
“Açık yazı ve mantığın karışımı beni en çok şaşırttı, ancak 101 seviyeli kodlama temellerine dair bir cehalet oluşturdum” dedi. “Bir NASCAR sürücüsünün tüm havasına ve sponsorlarla kaplı nomex’ine sahip, ancak bir kamyonette direksiyonu bulamayan biri gibi.”
Bu noktada Von Fange, bir yapay zeka botuyla uğraştığından neredeyse emin oldu ve konuşmayı “İyi deneme, ChatGPT” sözleriyle bitirdi. Muhabir daha sonra onaylanmış Von Fange’a ChatGPT’nin raporlarda kullanıldığını ancak yine de “güvenlik açıkları” için bir ödül talep ettiğini söyledi.
ChatGPT’nin maskesini kaldırma
“Bana asıl ipucu veren e-postalar arasındaki tutarsızlıktı – her e-posta farklı bir hatayı tartışıyormuşuz gibi görünüyordu ve her biri saçma sapan öncüllere dayalı bir hataydı ve sorunların değersiz olduğunu kanıtlamak için gönderilen her bir kod grubuydu,” Von Fange dedi.
İnsanların asla gerçekleşemeyecek hata raporları veya hiçbir şeyi kanıtlamayan kodlar göndermesi alışılmadık bir durum değil, diye devam etti.
“Fakat insanlar genellikle bahsettiğiniz şeyin bağlamını unutmazlar ve az çaba harcayan ödül avcıları, düzmece bir teslimiyeti gören biriyle karşı karşıya olduklarını fark ettikleri anda genellikle başka bir yere giderler,” diye ekledi.
Fange tarafından Twitter’da tarif ChatGPT’nin raporu, “temellere ilişkin muhteşem yanlış anlamalarla sarılmış makul metin ve etkiler” şeklindedir.
ChatGPT’nin yeteneklerine ve sınırlamalarına ilişkin bu açıklama, yapay zeka uzmanları tarafından yapılan LLM gözlemlerini yansıtır.
Muazzam hacimlerde metne ve insan eğiticilerin rehberliğine maruz kalan büyük dil modeli, dilbilgisi açısından doğru ve çoğunlukla tutarlı olan düzyazı yazabilir. Bununla birlikte, genellikle eğitim metninde açıkça tanımlanmayan temel gerçeklerden, sağduyudan ve diğer bilgilerden yoksundur.
LLM’ler ve böcek avcılığının geleceği
LLM’lerin programlama için yararlı olduğu kanıtlanmıştır. OpenAI tarafından geliştirilen başka bir dil modeli olan Codex, satırları otomatik tamamlamada veya tam kod blokları oluşturmada çok iyidir.
Bununla birlikte, mantık ve muhakeme söz konusu olduğunda mevcut LLM’lerin de belirgin kısıtlamaları vardır.
Von Fange, “Mevcut LLM’lerin, kodun neden bir güvenlik açığı olabileceğine dair makul nedenler bulmakta iyi olduğunu düşünüyorum” dedi. “Eksik olan büyük parça, bu güvenlik açığının gerçekten orada olup olmadığını belirlemek.”
Von Fange, yapay zekanın güvenlik açığından gerçekten yararlanılıp yararlanılamayacağını doğrulamak için otomatik olarak kod yazıp çalıştırabildiğinde daha büyük bir atılımın gerçekleşeceğine inanıyor.
“Elbette, kötü adamlar bir güvenlik açığı keşfedildiğinde kodu otomatik olarak kullanmak için bunu bağlayacaklar” dedi. “Bu, iyi adamlar ve kötü adamlar arasında bir silahlanma yarışı olacak.
“Ama güvenlik her zaman böyle olmuştur. Sihirli kurşun yok, yalnızca koda saldırmanın bir yolu ve kodu savunmanın bir yolu daha var.”
ÖNERİLEN Black Hat Europe 2022: Savunulabilir bir internet mümkün, ancak yalnızca sektörel makyajla