该研究提出了一种序列监测方案,通过考虑测量模型质量的时间依赖性,减少不必要的警报并解决多重测试问题,从而在检测模型质量相关变化方面优于基准方法。此研究为在动态环境中区分小幅波动和有意义的模型性能退化提供了实用解决方案,确保机器学习模型的可靠性。
Sep, 2023
优化机器学习模型重新训练的成本,通过考虑数据、模型和预测查询等多种因素,提出了一种成本感知的重新训练算法 Cara,该算法能适应不同的数据变化并在总成本更低的情况下实现比漂移检测基线更好的准确性。
Oct, 2023
通过在线和离线阶段,我们提出了一种高效的框架,评估训练数据对目标模型的影响,通过反向梯度匹配问题建立了一个精简同义词集,用于加速离开一个样本的过程,并计算评估目标基于的归因矩阵。实验证明,相比直接重新训练方法,我们的方法在实现了可比较的模型行为评估的同时,显著加快了过程。
Apr, 2024
讨论机器学习模型周期的后续,重要的是在已经部署的模型上进行监控,包括模型的性能和数据监控,使用统计技术检测异常值和数据漂移,提供历史预测的解释,同时使用开源工具来实现这些目标。
Jul, 2020
本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法,并生成不同层面的解释以理解漂移原因。
Nov, 2022
ML Health 为监测机器学习模型预测性能潜在下降提出了一种诊断方法,并将该方法应用于一种实现了全生产生命周期的系统中,来自动化追踪并生成进一步调查的警报。
Feb, 2019
该论文调研了关于大型语言模型(LLMs)的持续学习方面的最新工作,提出了一种新颖的多阶段分类方案,涉及持续预训练、指令调整和对齐;对 LLMs 的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比;同时,在讨论基准和评估的基础上,提出了几个挑战和未来工作方向。
Feb, 2024
通过将因果推断和统计过程控制方法结合起来,我们以术后恶心呕吐的风险预测算法为案例研究,定义候选监测标准、描述潜在偏差和因果模型,并具体说明和比较候选监测程序,以此作为发展比较各种监测选项的框架的第一步。
Nov, 2023
通过使用混合整数优化算法,在重新训练机器学习模型时考虑到不同数据批次更新的稳定性,通过使用自定义的距离度量指标来实现保持一致的分析洞察力,并在一个真实的生产案例中展示出比贪婪训练模型更强的稳定性。重要的分析洞察力在重新训练迭代中保持一致。
Mar, 2024
大型语言模型的持续学习策略可以通过简单且可扩展的方法成功更新模型,同时只需使用一小部分计算资源来达到重新训练的效果。