人工智能算法的控制与监测

Jul, 2023

Control and Monitoring of Artificial Intelligence Algorithms

Carlos Mario Braga Ortuño, Blanza Martinez Donoso, Belén Muñiz Villanueva

TL;DR解释了在部署后管理人工智能模型的重要性，以及监控现有数据的分布与训练数据之间的潜在波动。阐明了数据漂移和概念漂移的概念以及它们各自的基础分布。此外，引入了一系列度量指标，可用于审查模型在潜在时间变化方面的性能。

Abstract

This paper elucidates the importance of governing an artificial intelligence model post-deployment and overseeing potential fluctuations in the distribution of present data in contrast to the training data. The c

artificial intelligence governing data drift concept drift metrics

发现论文，激发创造

DetAIL：一款自动检测和分析语言漂移的工具

本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

Nov, 2022

数据中心治理

本文通过数据集和算法评估的方式，探讨了以数据为中心的 AI 治理的系统化，降低了部署时间，提高了解决方案的质量，降低了部署风险，并将系统置于持续的遵守治理要求的状态。

Feb, 2023

探讨高水平人工智能的差异化风险和控制问题

本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。

Nov, 2022

论工业人工智能中概念漂移与不确定性的关系

通过实验证明模型输出置信度与概念漂移存在关联性，并提倡在未来的比较研究中更加重视不确定性估计。

Mar, 2023

理解概念漂移

本文探讨了概念漂移对机器学习实际应用的影响以及应对概念漂移的方法，提出了定量分析方法和漂移分析工具，并通过三个实际学习任务的应用验证了它们的有效性。

Apr, 2017

描述概念漂移

本研究提出了一个全面的概念漂移类型的分类法并支持定量分析，从而为解决这一问题提供了基础。

Nov, 2015

生产环境模型的监控和可解释性

讨论机器学习模型周期的后续，重要的是在已经部署的模型上进行监控，包括模型的性能和数据监控，使用统计技术检测异常值和数据漂移，提供历史预测的解释，同时使用开源工具来实现这些目标。

Jul, 2020

解决语义分割模型漂移的数据质量感知方法

本研究通过全面实验，旨在探讨数据质量评估和数据调整两种重要策略对抗模型漂移的效果，以提高语义分割模型的性能和可靠性，从而推动计算机视觉在实际场景中的发展。

Feb, 2024

网络 AIOps 中部署深度学习模型的质量监测和评估

该研究论文探讨了如何在网络管理中使用 AIOps 技术，通过简单而有效的技术对个体推理和多重推理中的整体模型质量进行评估和追踪。

Feb, 2022

人工智能监控系统的设计与实施：放射学自主 AI 监测系统的新时代

我们提出了一种通过预警来监测医学成像 AI 分类模型性能变化的方法，该方法采用预测分歧度和时间稳定性这两个指标，通过使用 KL 散度和 JS 散度来评估模型准确性，并通过与历史移动平均值进行对比，检测模型退化或数据漂移，实验证明其在维护 AI 的可靠性方面有效。

Nov, 2023