Fiddler Auditor, Büyük Dil Modelleri (LLM’ler) ve Doğal Dil İşleme (NLP) modellerinin sağlamlığını değerlendirmek için tasarlanmış açık kaynaklı bir araçtır.
LLM’ler bazen haksız içerik üretebilir, potansiyel olarak düşmanca tepkiler oluşturabilir ve kendilerinden açıkça istenip istenmediğine bakılmaksızın eğitildikleri gizli bilgileri ifşa edebilirler.
Araç, geliştiricilerin ve araştırmacıların olası zayıflıkları belirlemelerine ve LLM’lerinin ve NLP çözümlerinin performansını iyileştirmelerine yardımcı olmak için rakip örnekleri, dağıtım dışı girdileri ve dilsel varyasyonları kullanır.
Fiddler Denetçisi şunları destekler:
- Hızlı bozulma ile kullanım durumunuz için Red-teaming LLM’ler
- LangChain ile entegrasyon
- Özel değerlendirme metrikleri
- Üretken ve Ayrımcı NLP modelleri
- LLM’lerin karşılaştırılması
İşte Fiddler Denetçisi tarafından oluşturulan örnek bir rapor:
Yazılım GitHub’dan indirilebilir.