ChatGPT ve benzeri Büyük Dil Modelleri (LLM’ler), herhangi bir konu hakkında, istenilen uzunlukta, insanların ulaşamayacağı bir hızda metin yazmak için kullanılabilir.
Bu nedenle, gerçek insanlardan orijinal çalışmalar almayı tercih eden öğretmenleri dehşete düşürecek şekilde, öğrencilerin bunları ödev yazmaya “yardım etmek” için kullanması sürpriz değil.
Aslında, Malwarebytes’in “Herkes internetten korkuyor ve kimse bu konuda ne yapacağından emin değil” başlıklı son araştırma anketinde, insanların %40’ının ödevlerini tamamlamak için ChatGPT veya benzeri bir araç kullandığını, 5 kişiden 1’inin ise ChatGPT veya benzeri bir araç kullandığını tespit ettik. bunu bir okul ödevinde kopya çekmek için kullanmak.
Neyin gerçek bir kişi tarafından yazıldığını ve neyin ChatGPT gibi araçlar tarafından yazıldığını söylemek gerçekten zorlaşıyor ve bu da öğrencilerin yanlışlıkla ChatGPT kullanmakla suçlanmasına yol açıyor. Ancak öğrenciler bu öyle bu araçları kullananlar hak etmedikleri notları almamalıdır.
Bundan daha kötüsü, ya yeni bir şey eklemeyen ya da yüksek lisans öğrencilerinin doğru olmayan “gerçekleri” uydurduğu “halüsinasyon”u masaya getiren sözde bilimsel makalelerin akını olabilir.
Yapay zeka (AI) metinlerini filtreleyebilen çeşitli programlar oluşturuldu ve testler devam ediyor, ancak bunların, çoğunlukla da yapay zeka tabanlı araçların başarı oranı çok iyi değil.
Birçoğu, özellikle profesyonel akademik yazılar için mevcut tespit araçlarının pek etkili olmadığını düşünüyor. Bu araçların anadili olmayan konuşmacılara karşı bir önyargısı vardır. Yedi ortak web tabanlı yapay zeka tespit aracının tümü, anadili İngilizce olmayan yazarların eserlerini, ana dili İngilizce olanların yazdıklarından daha sık yapay zeka tarafından oluşturulan metin olarak tanımladı.
Ancak şimdi kimya bilim insanları daha etkili tespit araçları yaratmada önemli bir yapı taşı bulmuş gibi görünüyor. “ChatGPT’ye bir kimyager gibi yazması söylendiğinde AI metnini doğru bir şekilde tespit etmek” başlıklı bir makalede, bilimsel dergiler için doğru bir AI metin dedektörünü nasıl geliştirip test ettiklerini anlatıyorlar.
Dedektör, makine öğrenimini (ML) kullanarak, incelenen metni akademik bir bilim adamının mı yoksa ChatGPT’nin mi yazdığını belirlemek için cümle uzunluklarındaki farklılıklar, belirli kelimelerin sıklığı ve noktalama işaretlerinin kullanımı da dahil olmak üzere yazma stilinin 20 özelliğini inceler.
Dedektörün doğruluğunu test etmek için bilim insanları, onu American Chemical Society (ACS) dergi stilindeki 200 tanıtımla karşılaştırarak test etti. Bunlardan 100’ü için araca makalelerin başlıkları, diğer 100’ü için de özetleri verildi.
Şaşırtıcı sonuçlar gösterdi. ChatGPT-3.5 ve ChatGPT-4 yazılı bölümlerini başlıklara göre %100 doğrulukla tanımlayarak ZeroGPT ve OpenAI tarafından sağlanan çevrimiçi araçlardan daha iyi performans gösterdi. Özetlere dayalı olarak ChatGPT tarafından oluşturulan tanıtımlarda doğruluk %98 ile biraz daha düşüktü.
Resim izniyle BilimDirect
Grafik, insanlar tarafından yazılan metinlere (yanlış pozitif sayısını belirlemek için), ChatGPT-3.5 ve ChatGPT-4’e karşı üç dedektörün doğruluğunu göstermektedir. P1 başlıklara dayalı metinler, P2 ise özetlere dayalı metinlerdir.
Bu araştırmanın önemli yanı, özel araçlarla çok daha iyi bir tespit oranına ulaşılabileceğini göstermesidir. Bu, yapay zeka dedektörleri geliştirme çabalarının, yazılımın belirli yazı türlerine göre uyarlanmasıyla önemli bir artış sağlayabileceği anlamına gelebilir.
Böylesine özel bir aleti hızlı ve kolay bir şekilde nasıl oluşturacağımızı öğrendiğimizde, özel dedektörlerimizin bulunduğu alanların sayısını kısa sürede genişletebiliriz. Araştırmacılardan birine göre bulgular, “yüksek düzeyde doğruluk elde etmek için küçük bir dizi özellik kullanabileceğinizi” gösteriyor.
Bunu perspektife koymak gerekirse, dedektörü üretmeye yönelik geliştirme süresi, birkaç kişi tarafından yaklaşık bir ay içinde gerçekleştirilen yarı zamanlı bir projeydi. Bilim adamları dedektörü ChatGPT-4’ün piyasaya sürülmesinden önce tasarladılar, ancak GPT-3.5’te de aynı derecede etkili bir şekilde çalışıyor, dolayısıyla gelecekteki sürümlerin bu dedektörün doğruluğunu önemli ölçüde değiştirecek şekilde metin oluşturması pek olası değil.
Yalnızca tehditleri rapor etmiyoruz; onları kaldırıyoruz
Siber güvenlik riskleri asla bir manşetin ötesine yayılmamalıdır. Malwarebytes’i bugün indirerek tehditleri cihazlarınızdan uzak tutun.