Hazine, “orta düzey” bir devlet çalışanının Microsoft 365 Copilot lisansının, “daha yüksek değerli görevler” için haftada 13 dakikasını serbest bırakması durumunda kendisi için ödeme yapabileceğini tahmin etti.
Şaşırtıcı derecede ayrıntılı inceleme – Avustralya Değerlendirme Merkezi (ACE) adlı federal hazinenin bir kısmı tarafından – geçen yılki hükümet çapında kopilot denemesinde Dijital Dönüşüm Ajansı’nın (DTA) toplam raporundan farklı bir bakış açısı sunuyor.
ACE, “DTA’nın soruşturmasının kapsamı dışında kalacak olan Hazine içindeki Copilot denemesine ilişkin verileri yakalamak için Hazine’nin Copilot davasının içsel bir değerlendirmesini gerçekleştirdiğini” söyledi.
APS6 seviyesi çalışanının zamanına dayanan haftada 13 dakikalık zaman tasarrufu metriği maalesef değerlendirmede nicelleştirilmedi, ancak ACE bunu “muhtemel” olarak gördü.
APS6, Hazine’de 94.300 ila 114.243 dolar arasında bir taban maaşı ile Avustralya kamu hizmetindeki en yüksek memurdur.
Metrik, lisanslama kopyasının ekstra maliyetini haklı çıkarmak için oldukça düşük bir çubuk belirliyor gibi görünüyor; Ancak, daha geniş bir dağıtımın yolunu açmaz.
İnceleme, gelecekteki herhangi bir dağıtımın – veya gerçekten herhangi bir genai aracı – belirli personele hedeflenmesi ve kullanım durumları önermektedir.
Ayrıca Hazine, Genai ile nasıl ilerleyeceğine dair bir kavşakta biraz ayrılmış gibi görünüyor.
Ace, “Üretken yapay zekanın benimsenme eğilimi, gelecekte birçok temel görev için üretken AI kullanmanın norm haline geleceğini gösteriyor” diye yazdı.
“Bu bağlamdaki kritik soru, Hazine’nin mevcut durumunda üretken yapay zekayı benimsemeyi veya ürünün daha gelişmiş olana kadar beklemesi gerekip gerekmediğidir.
“Mevcut durumunda kabul edilirse, personel yeteneklerini oluşturabilir ve geliştirilmeye ve yinelenmeye devam ettikçe teknolojiyi deneyimleyebilir. Alternatif olarak, Hazine daha gelişmiş bir ürün bekleyebilir ve personel, geç benimseyenler olarak üretken AI ürünlerine erişim alacaktır.
“Devam ve eğitim maliyetlerinin yanı sıra gerekli lisanslarla ilişkili bu teknolojiyi benimsemenin hemen maliyetleri var.”
13 dakikalık verimlilik tasarrufu
Hazine’nin 14 hafta boyunca 218 kişi deneme kopyası vardı ve çoğu “lisanslarını korudu” gibi görünüyor.
Duruşma büyük ölçüde kıdemli memurlar ve yöneticilerdi, kohortun yüzde 86’sı APS5 seviyesi veya üstü.
Personel duruşmaya yüksek beklentilerle gitti-yüzde 92 Copilot’un “düşük değerli veya düşük öncelikli görevler” için harcadıkları süreyi azaltacağını düşündü.
Deneme sona erdiğinde, yüzde 62’si “Temel idari iş ve süreçler için Copilot kullanırken çalışmalarında zaman tasarrufu yaşadılar” dedi.
“ACE, mevcut APS6 maaşındaki bir personelin haftada yaklaşık 13 dakikalık süreyi, mevcut lisans maliyetinin dengelenmesi için daha yüksek değerli görevlere yönlendirmesi gerektiğini tahmin ediyor” diye yazdı.
“Bu deneme sırasında toplanan veriler zaman tasarrufunu ölçmese de, bu araştırmanın sonuçları, Copilot ile ilişkili üretkenlik faydalarının ve zaman tasarruflarının lisans maliyetlerini dengeleyeceğini göstermektedir.”
DTA, daha geniş değerlendirmesinde, günde yaklaşık bir saatlik çok daha iyimser bir “ortalama” zaman tasarrufu önerdi. Bu rakamın bulunduğu ajanslarda, Copilot kendisi için birçok kez ödeme yapardı.
Daha fazla genç personel, Hazine duruşmasının önemli bir parçası olmasa da, Copilot gibi bir araçtan önemli ölçüde yararlanabilecek bir kohort gibi görünüyordu.
Gözden geçirenler, zaman tasarruflarının beceri gelişimine yönlendirilebileceğini buldu.
“Copilot, genç personelin daha stratejik veya karmaşık çalışmalar için zaman ayırması için fırsatlar sağladı… [and]Genç personelin temel idari görevleri daha verimli bir şekilde üstlenmesi için desteklendi ”diye yazdı Ace.
“Bu, mesleki gelişim fırsatlarına katılmak ve politika brifingleri veya veri analizi gibi daha fazla madde çalışmasını üstlenmeye daha fazla zaman ayırdı.
“Bu, Copilot’un genç personelin başka türlü mevcut olduğundan daha hızlı bir şekilde öğrenmesi ve gelişmesi için fırsatlar yaratma potansiyeline sahip olduğunu vurguluyor.”
Ölçülmesi zor
Verimlilik metriğinin ölçülmesinde önemli bir zorluk, Copilot’un çoğu durumda bitmiş bir ürün üretmemesi ve makine ve insan çabası arasında tanımlanması zor hale geldi.
Ace, “Değerlendirme, Copilot’un kısa deneme döneminde çalışma sonuçlarının iyileştirilmesine yardımcı olduğuna dair açık kanıtlar bulamadı, ancak umut verici göstergeler vardı” diye yazdı.
“Copilot’un etkilerinin izlenmesi daha zordur, çünkü iş genellikle kesinleşmeden önce daha fazla revizyon geçirir.”
Bir diğer önemli zorluk, bireysel kullanıcılar verimlilik bildirirken, doğrudan yöneticilerinin genellikle herhangi bir fark görmediğidir.
Ace, “Bir bireyin temel idari görevler üzerindeki verimliliğe ilişkin kişisel deneyimlerine katkıda bulunmasına rağmen, ürün tüm ekipler arasında belirgin iş verimliliğini artırmaya kadar gitmedi” diye yazdı.
Bireysel deneme uzmanı karışık bir deneyim bildirdi; Daha önceki DTA değerlendirmesiyle tutarlı olarak, bazı personel beklentilerini karşılamadığında kopilottan vazgeçmiş gibi görünüyordu.
Örneğin, duruşmaya girerken, insanların yüzde 75’i Copilot’un görevlerinin yarısına kadar destekleyebileceğini düşündü; Duruşmanın sonunda yüzde 59’u “çok az ya da hayır” yardımı sağladığını söyledi.
Ace, “Bazı görevler için, copilot kullanmak görevi manuel olarak tamamlamaya kıyasla güvenilir bir şekilde daha verimli değildi” dedi.
Maliyetler, kontroller kısıtlı denemeyi
Microsoft ekosisteminde çok fazla hükümet verisi yapılmadığından ve bu nedenle copilot kullanılarak etkileşime giremediği için federal copilot denemesi başından beri biraz mahkum edildi.
Hazine’nin duruşmasının ACE incelemesi, bölümün güvenlik ve gizlilik kontrollerinin, kaynak eksikliği ile birlikte, Copilot’un veya kullanıcıların lehinde çalışmadığını buldu.
Hazine içinde, sistem kısıtlamaları bazı personelin “Copilot’un üretken AI ürünleri kadar iyi performans göstermediği sonucuna varmasına yol açtı. [they] başka bir yerde kullanmıştı. “
Ace, “Bazı katılımcılar, Copilot’un sınırsız versiyonunun Copilot’tan Hazine’nin iç sistemleriyle sınırlı daha iyi performans gösterdiğini belirledi, bu da Hazine’nin gerekli gizlilik ve güvenlik kısıtlamalarının ürünün kalitesini sınırladığını gösteriyor” diye yazdı.
Maliyetler de denemeyi kısıtladı: Personele, iyi kullanım durumlarında çok az eğitim veya özel rehberlik ile Copilot’a erişim verildi.
Bu kıvırcık bir sorun: DTA davası, hükümet genelinde kullanım vakalarını temizlemeyi amaçlıyordu, ancak herkes onları bulmak için donanımlı değildi.
Ace, “Sınırlı deneme kaynakları nedeniyle, Hazine davası katılımcılara bir katılım oturumu ve Hazine’nin çevrimiçi öğrenme platformu aracılığıyla temel dijital dönüşüm ajansı üretici AI eğitimi ile sınırlıydı” diye yazdı.
“İçerme oturumu, Hazine’nin Copilot davası, deneme gereksinimleri ve duruşmanın belirtilen kullanım vakalarının bir göstergesi ve açıklaması hakkında bilgi içeriyordu.
“Ancak, deneme katılımcılarına daha fazla eğitim veya bireysel destek sağlamak kapsam ve mevcut kaynakların dışındaydı.”
DTA, şimdilik tüm GOV AI denemeleriyle yapıldı
DTA, geçen ay itibariyle “üretken AI ürünlerinin daha fazla hükümet denemelerini yürütme planı olmadığını” söyledi.
Ajansların bireysel olarak “kendi denemelerini veya değerlendirmelerini yapabileceğini” söyledi.
Ticari bir modelin federal bir hükümet bağlamında uygulanmasının zorlukları göz önüne alındığında, DTA, hükümetin kendi modelini inceleyip eğitemeyeceğini de ele aldı.
“Ocak 2025 itibariyle Avustralya hükümeti, ısmarlama, hükümet tarafından üretici bir AI modelini araştırmıyor” dedi.
“Ajanslar, özel ihtiyaçlarını karşılamak için ısmarlama modellerde tedarik etmeyi, geliştirmeyi veya işbirliği yapmayı seçebilirler.”