Ödevlerde kopya çekmekle suçlanan Avustralyalı öğrenciler, üniversitelerin yapay zeka tarafından oluşturulan içeriği tespit etmek için kullandıkları teknolojinin yanlış pozitif sonuçlar verdiğini söylüyor.
ChatGPT gibi yapay zeka araçlarının kullanımını belirlemek için çözümler sunan iki satıcı sektör tarafından benimsendi: Turnitin ve Cadmus Analytics, ancak çoğunlukla Turnitin kullanılıyor.
Melbourne Üniversitesi, Southern Queensland Üniversitesi ve Adelaide Üniversitesi’ndeki öğrenciler, Turnitin’in ödevlerinde yapay zeka tarafından oluşturulan metni tespit etmesinden sonra akademik suiistimal nedeniyle soruşturuldu.
En az bir öğrenci özgün bir çalışma sunduğunu söyledi; diğerleri bulunamadı veya yorum yapmak için ulaşılamadı.
Turnitin’in yapay zeka algılama özelliği, Nisan ayında piyasaya sürülmesinden bu yana UNSW Sidney, Tazmanya Üniversitesi, Queensland Üniversitesi ve Western Sydney Üniversitesi tarafından da benimseniyor.
Turnitin’in yöneticileri, sektördeki en iyi uygulamanın, yazılımını bir iddianın tek delil dayanağı olarak kullanmamak olduğunu söylüyor.
Turnitin’in APAC başkan yardımcısı James Thorley, “Yapay zeka raporunun tekil bir kanıt olarak alınması gerektiğine inanmadığımızı vurguladık” dedi.
Ödevlerde yapay zeka tarafından oluşturulduğu iddia edilen metin örneklerini tespit etmek için Turnitin yazılımını kullanmak üzere imza atan üniversiteler de bu rehbere uyduklarını söylüyor.
Ancak yapay zeka tespiti için henüz erken günler ve bazı öğrenciler, en iyi uygulamaların mutlaka takip edilmediği durumların yükünü hissettiklerini söylüyor.
‘Endişem tavan yaptı’
Melbourne Üniversitesi’nin sosyal bilimler fakültesi yüksek lisans öğrencisi şunları söyledi: iTnews konu koordinatöründen Turnitin’in Nisan ayı sonlarında görevlerinden birinde ChatGPT’yi tespit ettiğini belirten bir e-posta aldığını söyledi.
Takma adla konuşan Rachel şunları söyledi: iTnews “kaygı seviyelerim tavan yaptı.”
“Daha önce hiç suiistimalle suçlanmamıştım. Bana yapay zekanın tespit edildiği ve daha sonra akademik dürüstlük komitesinden duruşmamın ne zaman yapılacağına dair bilgi alacağım söylendi.
“Konu koordinatörüme yapay zekayı kullanmadığımı söyledim ve ona hatalı pozitif sonuçlarla ilgili okuduğum makaleleri gönderdim ama o sadece duruşmada bunun hakkında konuşabileceğimi söyledi.
“Duruşmanın ne zaman olacağını bildiren bir e-posta aldığımda, bir aydan fazla süre kaldığı için üzüldüm.
“Her şeyin kafama takılmasını istemedim.”
Melbourne Üniversitesi anlattı iTnews “Personelin akademik suiistimal iddiasında bulunmadan önce ek kanıtları dikkate almasını ve yalnızca aracın sonuçlarına güvenmemesini gerektiriyor.”
Rachel, konu koordinatörü duruşmadan iki gün önce kendisiyle konuşmayı kabul ettiğinde Turnitin’in tespiti dışında üretken yapay zeka kullandığına dair hiçbir kanıtın gösterilmediğini söyledi.
“Sağlama fırsatı buldum [the coordinator] Duruşmaya sunduğum delillerle birlikte,” dedi Rachel.
“Araştırma yaptığımı ve ödevin taslaklarını yaptığımı göstermek için ona tarayıcı geçmişimin ekran görüntülerini gösterdim; daha sonra dava duruşmadan önce düştü.”
Turnitin’den Thorley, davanın, bir iddianın tek temeli olarak tespitin kullanılmasının zayıflığını gösterdiğini söyledi.
“Değerlendirme tasarımı, öğrencilerin çalışmalarını ve bu son ürüne nasıl ulaştıklarını daha fazla paylaşmaya ve göstermeye olanak sağlayabilir; bu durumda bu bir nevi geriye dönük olarak yapıldı.”
Southern Queensland Üniversitesi’ndeki bir öğrenci benzer şekilde Turnitin’in yapay zeka algılama özelliği tarafından işaretlendi, ancak bu aracı yalnızca ödevlerini daha iyi dilbilgisi ile yeniden ifade etmek için kullandıklarına dair temize çıkarıcı kanıtlar vardı.
Adelaide Üniversitesi rektör yardımcısı ve başkan yardımcısı (akademik) Profesör Jennie Shaw şunları söyledi: iTnews kullandığı “Turnitin’in yapay zeka tespit aracı… üretken yapay zekanın uygunsuz kullanımını tespit etmek için.”
“Üniversitede, üretken yapay zekanın uygunsuz kullanımına ilişkin iddialar da dahil olmak üzere, akademik dürüstlük ihlallerinden şüphelenilenlerin sayısında bir artış yaşandı” dedi.
“Bu vakalar şu anda akademik dürüstlük sürecimizden geçiyor, bu nedenle rakam vermek mümkün değil”.
Tespitler arasında bazı hatalı pozitifliklerin de olabileceğini belirten kendisi, diğer üniversiteler gibi Turnitin’in “tek başına kullanılmadığını” belirtti.
Shaw, “Yapay zeka puanı tek başına akademik dürüstlük raporu için temel teşkil etmemelidir” dedi.
“Örneğin, öğretim görevlisi veya öğretmen, bir öğrencinin çalışmasında yanlış referansların göründüğünü fark etmiş olabilir ki bu, üretken yapay zekanın sık sık yaptığı bir hatadır.”
Bir sonraki olası kelime…
Çoğu Avustralya üniversitesi, öğrencilerin ödevlerini çevrimiçi materyaller ve Turnitin’in veri havuzlarıyla otomatik olarak çapraz referanslayarak intihalleri tespit etmek için Turnitin’i zaten kullanıyor.
Gönderilen ödevlerin mevcut içeriğe benzerliğinin derecelendirilmesi, üniversitelerin kaynak belgelere atıfta bulunabilmesi nedeniyle tartışmasızdır.
Makine öğreniminin üretken yapay zekayı insan yazısından yüksek güvenle ayırma aşamasına gelip gelmediği konusunda aynı fikir birliği yok.
Örneğin OpenAI, çok fazla yanlış tespit yaptığı sonucuna vardıktan sonra yakın zamanda yapay zeka tarafından oluşturulan kendi metin algılama aracını kapattı.
Turnitin, yapay zeka tarafından oluşturulan içerik ve özgün akademik yazılar konusunda eğitilmiş sınıflandırıcıları kullanır.
Turnitin’den Thorley, OpenAI’nin durdurulan tespit aracının Turnitin’in modeliyle karşılaştırılamayacağını, çünkü Turnitin’in yapay zeka tarafından oluşturulan metinleri akademik yazılardan ayırt etmek için özel olarak eğitildiğini söyledi.
“‘OpenAI dedektörünü kapattığında nasıl bu kadar emin olabiliyoruz’ sorusuna gelince, biz daha çok öğrenci yazılarına odaklandık ve öğrenci yazılarına odaklanmanın ve ona bu bağlamda bakmanın mümkün olduğuna inanıyoruz. “dedi.
“Her türden üretken yapay zekayı herhangi bir formatta tespit etmeye çalışıyorsanız -ki potansiyel olarak OpenAI’nin yapmaya çalıştığı şey de budur- bu çok daha zordur ve karmaşıklığı inanılmaz derecede artar.”
Turnitin’in bir cümlenin yapay zeka tarafından oluşturulup oluşturulmadığını değerlendirmeye yönelik metodolojisi, Büyük Dil Modellerinin (LLM’ler) kelime dizilerini “tutarlı ve yüksek olasılıklı bir şekilde” oluşturduğunu belirtiyor.
Bunun nedeni, OpenAI’nin GPT-3’ü, Google’ın Bard’ı ve Meta’nın LLaMA’sı gibi Yüksek Lisans’ların halka açık çevrimiçi içerik konusunda eğitilmiş olmaları ve “esasen bu kadar büyük miktarda metni alıp bir sonraki yüksek olasılıklı kelimeleri seçmeye dayalı kelime dizileri oluşturmasıdır.”
Buna karşılık, “insan yazısı…. tutarsız ve kendine özgü olma eğilimindedir, bu da insanın sırayla kullanacağı bir sonraki kelimeyi seçme olasılığının düşük olmasına neden olur.
İnsanlar ve Yüksek Lisans’lar tarafından akademik yazı konusunda eğitilen Turnitin’in sınıflandırıcıları, Yüksek Lisans’ların bunları üretme olasılığının yüksek olduğu dizilerdeki kelimeleri içeren cümleleri tespit eder.
Thorley şöyle dedi: “Yapay zeka tespitinin çalışma şekli, bir makinenin ‘bu şekilde’ yazdığını ve bir insanın ‘bu şekilde’ yazdığını söylemenin mümkün olduğunu söylemektir.”
Turnitin’in hata oranı
Turnitin’e göre, belgenin en az yüzde 20’sinin yapay zeka tarafından oluşturulması koşuluyla, tek bir cümle için hatalı pozitif oranı yüzde dört ve tüm belge için hatalı pozitif oranı yüzde birdir.
Turnitin, bir belgenin her cümlesini yapay zeka tarafından oluşturulmuş olup olmadığına ilişkin ikili bir puanla değerlendirir; daha sonra cümlelerin puanlarını belgedeki yapay zeka tarafından oluşturulan içeriğin yüzde değerine göre topluyor.
Yanlış pozitiflere karşı bir koruma olarak, model belgenin tamamında yapay zeka tarafından oluşturulan cümlelerin yüzde 20’sinden daha azını tespit ederse, güveni çok düşük olduğundan muhakeme hakkını saklı tutar.
“Yanlış pozitifleri en aza indirmeye odaklandığımız noktalardan biri, eğer gri bir alandaysak, tedbirli davranarak büyük bir hata yapacağımızı söylemek ve yalnızca çok hassas olduğumuz durumlarda kesin açıklamalarda bulunmaktır. , kendime çok güveniyorum” dedi Thorley.
Turnitin’in testlerinin, modelin bu hatalı pozitif oranlarına (cümleler için yüzde dört ve tüm belgeler için yüzde bir) sahip olduğu sonucuna nasıl vardığının ardındaki matematikle ilgili bir soruya yanıt olarak Thorley şunları söyledi: “Yakında bir teknik inceleme yayınlayacağız. Teknik düzeyde çok daha fazla derinlik.”
Sonrasında Washington Post Gazeteci Geoffrey A. Fowler, ABD’de Turnitin’i çalışmalarını yanlışlıkla işaretlemekle suçlayan öğrencilerle röportaj yaptı. Gerçek, yapay zekayla üretilmiş ve karma kaynaklı makalelerden oluşan 16 örneği model aracılığıyla test etti ve “yarısından fazlasının en azından kısmen yanlış olduğunu” buldu .”
UNSW Yapay Zeka Enstitüsü’nün baş bilim insanı Profesör Toby Walsh şunları söyledi: iTnews Turnitin’in modelin yanlış pozitif oranına ilişkin iddialarının “sorunlu” olduğu belirtiliyor.
Walsh, “Turnitin, kelime olasılıklarını LLM’ler tarafından oluşturulan olasılıklarla karşılaştırarak çalışıyor” dedi.
“Bu sana yalnızca bir olasılık verir. Sana kesinlik vermez.”
Turnitin, modelinin “coğrafyalar arası özgün akademik yazı” üzerine eğitildiğini söylese de Walsh’a göre, modelin dünya çapındaki farklı üniversitelerde önyargılı sonuçlar olmaksızın uygulanmak üzere yeterince geniş çeşitlilikte veri kaynakları üzerinde eğitildiğine dair hiçbir kanıt yok.
“Araçların önyargılı şekilde çalıştığına dair kanıtlarımız var. Üniversitemizin verilerinin benzer bir dağılımdan mı yoksa farklı bir dağılımdan mı geldiğini bilmiyoruz.”
Walsh, Turnitin’in aynı zamanda ana dili İngilizce olan öğrenciler tarafından yazılan ödevler konusunda da orantısız bir şekilde eğitilmiş olabileceğini söyledi.
“Yanlış pozitif oranların, ana dillerinde yazmayan öğrencilerde muhtemelen çok daha yüksek olması muhtemeldir.”
Cadmus takipli çalışmalardan destek
Normalde öğrenciler ödevlerini Word’de, Google Dokümanlar’da veya tercih ettikleri kelime işlem platformunda yazarken, bazı ders koordinatörleri onları, ödevlerini gerçek zamanlı olarak nasıl ürettiklerini izlemek için Cadmus’u kullanmaya zorluyor.
Cadmus, değerlendiricilere öğrencilerin platformunu kullanırken ödevlerini nasıl tamamladıklarına ilişkin gerçek zamanlı veriler sağlar.
Cadmus, geleneksel olarak sözleşme sahtekarlığını tespit etmek için kullanılsa da Ocak ayında yaptığı açıklamada, “ChatGPT kullanan öğrencilere özel olarak atfedilen teknikleri” tespit ederek “eğitimcilerin değerlendirmelerde yapay zeka kullanımını tespit etmelerine” yardımcı olabileceğini söyledi.
Cadmus Çalışma Alanı, özellikleri arasında, “öğrencilerin değerlendirme içeriklerini Cadmus çalışma alanına yapıştırması ve özgün bir gönderim oluşturmak amacıyla küçük düzenlemeler yapması” gibi “ChatGPT kullanma” ile ilişkili alışkanlıkları işaretleyebilir.
Ödev için harcanan saatler, kopyala yapıştır metnin kaynağı, klavye desenleri ve öğrencilerin cihazlarının İnternet bağlantısının adresi gibi konum verileri, Cadmus’un topladığı verilere bazı örneklerdir.
Güney Queensland Üniversitesi, bu yılın başlarında bir hemşirelik öğrencisini başka kelimelerle ifade etme yazılımı kullanarak yakalamak için Cadmus’u kullandı.
Kıdemli öğretim görevlisi Dr. Liz Ryan, Cadmus ile ilgili çevrimiçi bir sunumda şunları söyledi: “Öğrenci yapıştırma günlükleri, tüm değerlendirme çalışmalarının bir yapay zeka olan Quillbot’tan yapıştırıldığını ortaya çıkardı.” [paraphrasing] yalnızca kurs koordinatörünün açık onayı ile kullanılabilecek bir araç.”
“Bu öğrenci daha sonra akademik dürüstlük ekibine yönlendirildi.”
Güney Queensland Üniversitesi, yorum talebine yanıt vermedi iTnews öğrencinin akademik dürüstlük politikalarını ihlal edip etmediğinin tespit edilip edilmediği hakkında.
Cadmus’a kaydolan diğer üniversiteler bunu yapay zeka tespitleri için hiç kullanmıyor.
Adelaide Üniversitesi sözcüsü, “Yapay zeka tarafından oluşturulan metni tanımlamak için açıkça Cadmus’u kullanmadığını” söyledi.
“Bunun yerine personelin, öğrencilerin ilerleyen taslaklarını ve fikir gelişimini görmek için bu platformu kullanması teşvik ediliyor.”
Melbourne Üniversitesi’nden bir sözcü ayrıca “Üniversitedeki bazı öğrencilerin değerlendirme görevleri için Cadmus’u kullandığını” ancak bunun açıkça yapay zekayı tespit etmek için olmadığını söyledi.
“Cadmus’ta ödev yazma sürecinin tamamı, öğretim personelinin gerektiğinde ‘gözlemleyebileceği’ ve gözden geçirebileceği Cadmus içinde yürütüldüğü için ödev dijital olarak ‘gözlemleniyor’.”
Walsh söyledi iTnews ayrıca Cadmus’un üniversiteler için akademik bütünlüğü üretken yapay zekaya karşı koruma konusunda en iyi çözüm olduğunu düşünmüyordu.
“Cadmus metodolojisi hile yapmayı zorlaştıracak ama imkansız değil.”
“İnsanların kopya çekmemesini sağlamanın çok basit (ve ucuz) bir yolu var: onları sınav koşullarına koymak; teknolojiye erişimin olmadığı kapalı bir oda.”
Cadmus yanıt vermedi iTnews’ yorum talebi.