Hata bulma karşılığında insanlara ödeme yapan hata ödül programları, yazılımın güvenliğini artırmak için çok yararlı bir araçtır. Ancak ChatGPT, Bard ve diğerleri gibi popüler büyük dil modellerinde (LLM’ler) görüldüğü gibi yapay zekanın (AI) kullanılabilirliğiyle birlikte ufukta yeni bir sorun var gibi görünüyor.
Ödül avcıları LLM’leri yalnızca raporlarını tercüme etmek veya yeniden okumak için değil, aynı zamanda hataları bulmak için de kullanıyor.
cURL’den Daniel “Haxx” Stenberg bir blog yazısında bunu neden olası bir sorun olarak gördüğünü açıklıyor. CURL, çeşitli ağ protokollerini kullanarak veri aktarımı için bir kitaplık ve komut satırı aracı sağlayan bir bilgisayar yazılımı projesidir. Bu ad, URL için İstemci anlamına gelir. Daniel orijinal yazar ve şu anda baş geliştiricidir.
Bazı nedenlerden dolayı, hata ödül programlarının, gerekli çalışmayı yapmadan hızlı para kazanmak isteyen servet arayanları da cezbettiğini savunuyor. Stenberg’e göre geliştiriciler, bu servet arayanları Yüksek Lisans’lara erişmeden önce kolayca filtreleyebiliyorlardı.
Sorunun kaynağı, bazı yüksek lisans öğrencilerinin “halüsinasyon” şeklindeki kötü alışkanlığında yatmaktadır. LLM halüsinasyonları, LLM’lerin tutarlı ve dilbilgisi açısından doğru ancak gerçekte yanlış veya anlamsız çıktılar ürettiği olayların adıdır.
Bu, geliştiriciler için bir sorundur çünkü insanlardan gelen saçma raporları genellikle kısa bir incelemeden sonra atabilirler. Ancak yapay zeka tarafından oluşturulan raporlar tutarlı göründüğünden çok daha fazla zaman harcıyorlar.
Güvenlik açığı olmayan CVE’lerin gizeminde, hataların otomatik olarak gönderilmesinin geliştiricinin çok fazla zaman kaybetmeden önce nasıl sorunlara yol açtığını gördük. Geliştiricinin gerçek hataları düzeltmek veya yeni özellikler üzerinde çalışmak için kullanmak istediği süre. Daniel’in belirttiği gibi:
“Bir güvenlik raporu, geliştiriciyi gerçekten sinir bozucu bir hatayı düzeltmekten alıkoyabilir. çünkü bir güvenlik sorunu her zaman diğer hatalardan daha önemlidir. Raporun berbat olduğu ortaya çıkarsa, güvenliği iyileştirmemişizdir ve hataları düzeltme veya yeni bir özellik geliştirme konusunda zaman kaybetmişizdir. Çöple uğraşmak zorunda kalmanın enerjinizi nasıl tükettiğinden bahsetmiyorum bile.”
Bu, özellikle hatayı gönderen kişinin ek sorgulara sorunu açıklığa kavuşturacak şekilde yanıt verememesi durumunda can sıkıcıdır. Bu genellikle böyledir, çünkü bu kişi LLM’nin gönderimi neden bir hata olarak işaretlediğine dair hiçbir fikre sahip değildir.
Birçok alanda insanlar yapay zeka tarafından oluşturulan içeriği tanıyabilen araçlar üzerinde çalışıyor ancak bunlar bu soruna tam bir çözüm değil. Hata ödülü avcıları, başvurularını kendi ana dillerinden İngilizceye çevirmek için Yüksek Lisans’ı da kullanıyor. Bu genellikle çok faydalıdır. Ancak bir tanıma aracı tüm bu başvuruları iptal ederse, sırf ödül avcısı mükemmel İngilizce bir rapor sunmak istediği için ciddi bir güvenlik açığını göz ardı edebilirler.
Gelecekte yapay zekanın yazılım hatalarını bulmada şüphesiz faydalı olacağı kanıtlanacak, ancak bu araçların, yazılım yayına girmeden önce geliştiricilerin kendileri tarafından konuşlandırılmasını bekliyoruz.
İş çözümlerimiz, fidye yazılımının tüm kalıntılarını ortadan kaldırır ve yeniden virüse yakalanmanızı önler. İşletmenizi korumaya nasıl yardımcı olabileceğimiz hakkında daha fazla bilgi edinmek ister misiniz? Aşağıdan ücretsiz deneme sürümünü edinin.