Federal hükümet genelinde Microsoft 365 Copilot’un altı aylık denemesine katılanların üçte ikisi, aracı “haftada birkaç kez” veya daha az kullandı; yüksek beklentiler büyük ölçüde “karşılanmadı”.
Çarşamba günü geç saatlerde Dijital Dönüşüm Ajansı (DTA) tarafından 2024’ün ilk altı ayında yaklaşık 5765 Copilot lisansının nasıl kullanıldığına dair ayrıntılı bir görünüm sağlayan bir değerlendirme raporu yayınlandı.
Raporun hükümet içinde ve dışında faydası var. Üretken yapay zeka araçları hakkındaki heyecana rağmen, araçların gerçek dünya ortamlarında ürettiği gerçek değer hakkında çok az kamuya açık bilgi var.
Ancak değerlendirmede bazı önemli sınırlamalar da mevcut; özellikle tamamen kullanıcıların öz değerlendirmelerine dayanması ve yöneticilerin denemede aşırı temsil edilmesi.
Yine de federal hükümet kurumlarının bu aracı benimseme konusunda ne kadar başarılı oldukları merak konusu olacak.
Altı aylık süre boyunca Copilot’un genel kullanımı “orta” olarak değerlendirildi ve “deneme katılımcılarının yalnızca üçte biri” [using it] günlük” ve “toplantıların ve bilgilerin özetlenmesinde ve içeriğin yeniden yazılmasında yoğunlaşan kullanımıyla.”
Buna karşılık, kullanıcıların yaklaşık yüzde 46’sı “haftada birkaç kez” ve yüzde 21’i “ayda birkaç kez” değer bulduğunu belirtti.
Değerlendirme, bu sonucu “kullanıcı yeteneği, aracın algılanan faydası ve rahatlığı ve kullanıcı arayüzü” ile ilişkilendirmektedir.
Eğitim ve kullanım arasında bir korelasyon vardı; ne kadar çok eğitim alınırsa araç o kadar çok kullanıldı. Eğitimin Avustralya Kamu Hizmeti (APS) bağlamına göre özelleştirildiği durumlarda sonuçlar daha iyiydi.
Ancak bazı personel “diğer iş taahhütleri ve zaman baskıları arasında eğitim için zaman bulamadı.”
Diğerleri “araçla ilgili ilk deneyimleri zayıftı veya [found] çıktıları doğrulamak ve düzenlemek, özeti veya transkripti oluşturmaktan daha fazla zaman aldı.
Kullanıcı arayüzü de önemli bir sorundu; özellikle Copilot’un varlığının hemen fark edilmediği ve kullanıcıların varlığını unuttuğu CSIRO’da.
Değerlendirme raporunda, “Deneme katılımcılarının bulunduğu odak grupları, Copilot’un Microsoft 365 uygulamalarına gömülü olduğunu, kullanıcı arayüzünde açıkça görülmediğinden sıklıkla unuttuklarını belirtti” ifadesine yer veriliyor.
“Sonuç olarak, transkripsiyon ve özetleme için toplantıları kaydetmeyi unutmak da dahil olmak üzere özellikleri kullanmayı ihmal ettiler.
“CSIRO, şirket içi araştırmalarla belirlendi [its] deneme katılımcılarının kullanıcı arayüzünün zaman zaman özellikleri bulmasını zorlaştırdığı görüldü.
“Copilot’un tartışılabilir avantajlarından birinin mevcut Microsoft iş akışlarıyla mevcut entegrasyonu olduğu göz önüne alındığında, kullanıcılar arasında rapor edilen görünürlük eksikliği, onun en büyük katma değerini büyük ölçüde azaltıyor.”
Deneyim Microsoft paketi genelinde de değişkendi.
Copilot’un Excel analizini kolaylaştıracağını ümit edenler bunalmıştı.
Benzer şekilde, Outlook entegrasyonunu kullanmak isteyenler, kuruluşun Copilot’u kullanacak kadar yeni bir Outlook sürümüne sahip olmaması nedeniyle hayal kırıklığına uğradı.
Bu Microsoft’un hatası değil, ancak sistem yükseltmelerine ve değişikliklerine duyulan ihtiyaç, sürekli kullanım için iş durumunu olumsuz etkiliyor.
Büyük beklentiler
Değerlendirme raporu aynı zamanda kullanıcıların beklentilerinin ne ölçüde karşılandığını ve deneyimin pazarlama ve reklama uygun olup olmadığını da inceliyor.
Kullanıcıların yüksek beklentilerle girdiği belirtiliyor ancak “deneme katılımcılarının Copilot’un yardımcı olmasını beklediği tüm faaliyetlerde olumlu duygularda bir azalma oldu.”
Raporda, “Duygular olumlu olmaya devam etse de… Copilot’a ilişkin ilk beklentileri karşılanmadı” ifadesine yer veriliyor.
“Copilot’un (ve daha geniş anlamda üretken yapay zekanın) özellikleri, katılımcıların zamanından önemli ölçüde tasarruf sağlayabileceği ve böylece katılımcıların beklentilerini artıracağı şekilde pazarlandı.
“Bu beklentiler Copilot’un kullanımının ardından azalmış gibi görünüyor.
“Copilot’un katılımcıların ‘e-postalarla daha az zaman geçirmesine’ olanak sağladığına dair olumlu inançta yüzde 32, ‘daha az toplantıya katılmalarına’ olanak sağlayacağı inancında ise yüzde 54’lük bir azalma oldu.”
Raporda, Copilot’un günlük hükümet operasyonlarına dahil edilmesi konusunda özel bir öneride bulunulmuyor.
Federal hükümet kuruluşlarını, üretken yapay zeka ürünlerini dikkatli bir şekilde değerlendirmeleri ve kullanıcılara teknolojinin sürekli kullanımından kaynaklanabilecek çetrefilli sorunlar hakkında daha iyi netlik sağlamaları konusunda uyarıyor.
Örneğin, her toplantının yapay zeka ile yazıya geçirilmesinin, ayrıntılı toplantı tutanaklarının bilgi edinme özgürlüğü talepleri açısından adil bir oyun haline gelebileceğine ve bunun da katılımcıların bu forumlara katılma olasılığının daha düşük olduğu anlamına gelebileceğine dair endişeler vardı.