Evidently AI是什么
Evidently AI是一个开源的机器学习和大型语言模型（LLM）可观测性框架，为AI从业者提供了强大的工具来评估、测试和监控各种AI驱动的系统。
Evidently AI主要特点
- 开源和透明：作为一个开源项目，Evidently AI允许用户深入了解其工作原理，并根据需要进行定制。
- 全面的评估能力：从数据质量到模型性能，再到LLM输出，Evidently AI提供了全方位的评估指标。
- 灵活性：支持多种数据类型（如表格数据、文本数据和嵌入向量）和AI系统，适应不同的应用场景。
- 易于集成：可以轻松地集成到现有的机器学习（ML）工作流程中，如与TensorFlow和PyTorch等深度学习框架无缝集成。
- 丰富的可视化选项：提供丰富的可视化选项，使得复杂的指标更易理解。
Evidently AI功能模块
Evidently AI提供了三种主要的功能模块，分别是：
- 报告（Reports）：计算各种数据、ML和LLM质量指标。用户可以选择预设报告或自定义内容，提供开箱即用的交互式可视化，适合探索性分析和调试。结果可以以Python对象、JSON、HTML、DataFrame等多种形式输出，或在监控UI中查看。
- 测试套件（Test Suites）：检查指标值是否满足预定义的条件，并给出通过或失败的结果。适用于回归测试、持续集成/持续部署（CI/CD）检查或数据验证管道。提供零配置选项，可以从参考数据集自动生成测试条件，并使用简单的语法设置自定义测试条件，如gt（大于）、lt（小于）等。
- 监控仪表板（Monitoring Dashboard）：帮助用户可视化指标和测试结果的时间序列。可选择自托管开源版本或注册Evidently Cloud（推荐）。Evidently Cloud还提供用户管理、警报和无代码评估等额外功能。
Evidently AI应用场景
Evidently AI的应用范围非常广泛，几乎涵盖了AI系统开发和运维的各个方面，包括但不限于：
- 文本描述符分析：评估文本长度、情感、毒性、语言、特殊符号、正则表达式匹配等。
- LLM输出评估：支持语义相似度、检索相关性、摘要质量等评估，包括基于模型和LLM的评估方法。
- 数据质量检查：检测缺失值、重复项、最小-最大范围、新的分类值、相关性等。
- 数据分布漂移分析：提供20多种统计测试和距离度量来比较数据分布的变化。
- 分类模型评估：支持准确度、精确度、召回率、ROC AUC、混淆矩阵、偏差等指标。
- 回归模型评估：包括平均绝对误差（MAE）、平均误差（ME）、均方根误差（RMSE）、误差分布、误差正态性、误差偏差等指标。
- 排序（包括检索增强生成RAG）评估：支持归一化折损累计增益（NDCG）、平均准确率（MAP）、平均倒数排名（MRR）、命中率等指标。
- 推荐系统评估：评估意外性、新颖性、多样性、流行度偏差等。
