Datadog, AI uygulama geliştiricilerinin ve ML mühendislerinin büyük dil modeli (LLM) uygulamalarını verimli bir şekilde izlemesine, iyileştirmesine ve güvence altına almasına olanak tanıyan LLM Observability’yi duyurdu.
Yüksek Lisans Gözlemlenebilirliği ile şirketler, üretken yapay zeka uygulamalarının üretim ortamlarına dağıtımını hızlandırabilir ve bunları güvenilir bir şekilde ölçeklendirebilir.
Tüm sektörlerdeki kuruluşlar, üretken yapay zeka özelliklerini uygun maliyetli bir şekilde yayınlamak için yarışıyor, ancak bunları uygulamak ve üretime getirmek, LLM zincirlerinin karmaşıklığı, belirleyici olmayan doğası ve oluşturdukları güvenlik riskleri nedeniyle çeşitli zorluklar ortaya çıkarabilir.
Datadog LLM Observability, müşterilerin bu zorlukların üstesinden gelmesine yardımcı olarak üretken yapay zeka uygulamalarını güvenle dağıtıp izleyebilmelerine yardımcı olur. Bu yeni ürün, hataların ve halüsinasyonlar gibi beklenmedik tepkilerin temel nedenini kolayca belirlemek için LLM zincirinin her adımına görünürlük sağlar.
Kullanıcılar ayrıca performansı ve maliyeti optimize etmek için gecikme ve belirteç kullanımı gibi operasyonel ölçümleri izleyebilir ve AI uygulamalarının kalitesini (konu ilgisi veya zehirlilik gibi) değerlendirebilir ve güncel olmayan uygulamalarla güvenlik ve gizlilik risklerini azaltmak için öngörüler elde edebilirler. kutu kalitesi ve güvenlik değerlendirmeleri.
Geleneksel araçlardan ve nokta çözümlerinden farklı olarak Datadog’un LLM Observability’si, hızlı ve yanıtlı kümeleme, Datadog Uygulama Performansı İzleme (APM) ile kusursuz entegrasyon ve kullanıma hazır değerlendirme ve hassas veri tarama yetenekleri sunarak uygulamaların performansını, doğruluğunu ve güvenliğini artırır. Verilerin gizli ve güvenli tutulmasına yardımcı olurken üretken yapay zeka uygulamaları.
“WHOOP Coach, LLM yapay zekasındaki en yeni ve en iyi özelliklerle destekleniyor. Datadog’un Yüksek Lisans Gözlemlenebilirliği, mühendislik ekiplerimizin model değişikliklerinin performansını değerlendirmesine, üretim performansını izlemesine ve Coach etkileşimlerinin kalitesini artırmasına olanak tanır. Yüksek Lisans Gözlemlenebilirliği, WHOOP’un tüm üyelerimize 7/24 koçluk sağlamasına ve sürdürmesine olanak tanıyor,” dedi WHOOP Kıdemli Yazılım Direktörü Bobby Johansen.
“Datadog LLM Gözlemlenebilirlik çözümü, ekibimizin GenAI uygulamalarımızın kullanımını ve performansını anlamasına, hata ayıklamasına ve değerlendirmesine yardımcı oluyor. Bununla birlikte, son kullanıcılarımıza olumlu deneyimler sunmamızı sağlarken, olumsuz etkileşimleri ve performans düşüşlerini önlemek için yanıt kalitesinin izlenmesi de dahil olmak üzere gerçek dünyadaki sorunları çözebiliyoruz,” dedi AppFolio Üründen Sorumlu Başkan Yardımcısı Kyle Triplett.
Yrieix Garnier, “Yeni Yüksek Lisans tabanlı teknolojileri benimseme konusunda bir telaş var, ancak her büyüklükteki ve sektördeki kuruluşlar bunu hem uygun maliyetli hem de son kullanıcı deneyimini olumsuz etkilemeyecek bir şekilde yapmakta zorlanıyor” dedi. Datadog’da Ürün Başkan Yardımcısı. “Datadog LLM Observability, ekiplerin performansı yönetmesine ve anlamasına, sapmaları veya önyargıları tespit etmesine ve sorunları iş veya son kullanıcı deneyimi üzerinde önemli bir etkiye sahip olmadan önce çözmesine yardımcı olmak için gereken derin görünürlüğü sağlıyor.”
LLM Observability kuruluşlara şu konularda yardımcı olur:
- Çıkarım kalitesini değerlendirin: Herhangi bir halüsinasyonu, kaymayı ve uygulamaların son kullanıcılarının genel deneyimini izlemek için LLM uygulamalarının konuşmalarının kalitesini ve etkinliğini (cevap vermeme gibi) görselleştirin.
- Temel nedenleri belirleyin: Her kullanıcı isteği için uçtan uca izlere ilişkin tam görünürlük ile LLM zincirindeki hata ve başarısızlıkların temel nedenini hızlı bir şekilde belirleyin.
- Maliyetleri ve performansı iyileştirin: Performans ve maliyet optimizasyonu fırsatlarını ortaya çıkarmak için birleşik bir kontrol panelinde OpenAI, Anthropic, Azure OpenAI, Amazon Bedrock, Vertex AI ve daha fazlası dahil olmak üzere tüm büyük platformlardaki uygulamalara yönelik temel operasyonel ölçümleri verimli bir şekilde izleyin.
- Güvenlik tehditlerine karşı koruma sağlayın: Datadog Sensitive Data Scanner tarafından desteklenen yerleşik güvenlik ve gizlilik tarayıcılarını kullanarak uygulamaları anında korsanlığa karşı koruyun ve PII, e-postalar ve IP adresleri gibi hassas verilerin sızmasını önlemeye yardımcı olun.
Datadog LLM Gözlemlenebilirliği şu anda genel kullanıma sunuldu.