Evidently 是一个面向 AI 系统的开源评估与可观测性框架，官网将其定位为用于评估、测试和监控 LLM、RAG 应用、AI agents 与机器学习模型的单一框架。它关注非确定性 AI 系统中的幻觉、边界情况、数据与个人信息泄露、危险输出、越狱和数据漂移等问题，并将自动化评估、合成数据和持续监控结合起来。项目以 Apache 2.0 协议完全开源，既覆盖 LLM 驱动的产品，也覆盖预测型机器学习系统。
核心功能
自动化评估
Evidently 可以系统性衡量 AI 输出的质量、安全性和可靠性，并将评估作为流水线的一部分运行。评估结果可以通过可分享的可视化报告进行探索，适合在模型或应用更新后检查表现。
合成数据生成
框架可以创建贴合具体使用场景的真实感输入，也可以生成边界情况或对抗性输入。官网列举的输入范围从无害提示到恶意攻击，可用于覆盖常规测试之外的风险场景。
持续监控
Evidently 提供实时仪表板，用于持续跟踪评估结果和质量检查。通过监控漂移、回归和新出现的风险，团队可以更早发现 AI 系统质量变化；机器学习场景还可监控预测性能、数据漂移和数据质量。
LLM 质量指标与自定义评估
产品提供 100 多个内置指标，用户可以围绕自己的 AI 使用场景设计质量系统。规则、分类器和基于 LLM 的评估可以组合使用，也可以使用任意提示词、模型或规则添加自定义评估。
面向不同 AI 系统的测试
对于聊天机器人、RAG 应用、AI agents、copilots 及其他 LLM 驱动产品，Evidently 支持使用可定制模板进行评估。它还支持预测型机器学习系统，并提供用于预测性能、数据漂移和数据质量的内置指标。
具体质量检查
官网列出的检查范围包括对指南和格式的遵循、幻觉与事实性、个人信息检测、检索质量与上下文相关性，以及情绪、毒性、语气和触发词。对于生产环境中的数据，还可以关注分布变化、模型表现回归和数据质量问题。
使用方式
官网提供 GitHub 项目和文档入口，产品以 Apache 2.0 协议完全开源。页面引导用户通过 GitHub 和文档开始使用，并展示了将评估放入流水线、通过可视化报告查看结果以及使用实时仪表板进行监控的方式。正文没有说明是否需要注册、自备模型 Key、客户端、浏览器插件或 API。
适用人群与场景
构建聊天机器人、RAG 应用、AI agents 或 copilot 的团队，可以用它评估输出质量、安全性、事实性和检索上下文相关性。负责机器学习模型上线与维护的团队，可以检查预测性能、数据质量、数据漂移和模型表现变化。MLOps、数据科学和 AI 工程团队，还可以把评估接入流水线或监控流程，持续发现回归、漂移及新出现的风险。官网同时提到该工具被初创公司和企业使用。
注意事项
官网强调非确定性 AI 系统会以不同于传统软件的方式失效，列举的问题包括幻觉、边界情况、数据与个人信息泄露、危险输出、越狱和数据漂移。使用者需要根据自己的 AI 使用场景设计质量系统，并选择内置指标或自定义评估。正文未提供具体价格、免费额度或商业版档位信息。
