Jun, 2023

AlerTiger：领英 AI 模型健康监控的深度学习

PDF
TL;DRAlerTiger 是一种深度学习的 MLOps 模型监控系统，通过检测模型输入特征和输出得分的异常来帮助公司内的 AI 团队监控其 AI 模型的健康状况，该方法已在 LinkedIn 的大多数生产 AI 模型中部署超过一年，并且在修复了几个模型问题后，带来了显著的业务指标收益。
发现论文，激发创造
  • ML Health: 为生产模型提供的健身追踪

    ML Health 为监测机器学习模型预测性能潜在下降提出了一种诊断方法，并将该方法应用于一种实现了全生产生命周期的系统中，来自动化追踪并生成进一步调查的警报。

    Feb, 2019

  • 深度学习及其在机器健康监测中的应用：一项综述

    本研究指出深度学习可以为数据驱动的机器健康监测提供有用的工具，在介绍深度学习技术后，主要从自编码器、深度置信网络、卷积神经网络和循环神经网络等方面综述了其在机器健康监测系统中的应用，并讨论了一些新的基于深度学习的方法趋势。

    Dec, 2016

  • 监控机器学习模型：在线检测相关偏差

    该研究提出了一种序列监测方案，通过考虑测量模型质量的时间依赖性，减少不必要的警报并解决多重测试问题，从而在检测模型质量相关变化方面优于基准方法。此研究为在动态环境中区分小幅波动和有意义的模型性能退化提供了实用解决方案，确保机器学习模型的可靠性。

    Sep, 2023

  • 网络 AIOps 中部署深度学习模型的质量监测和评估

    该研究论文探讨了如何在网络管理中使用 AIOps 技术，通过简单而有效的技术对个体推理和多重推理中的整体模型质量进行评估和追踪。

    Feb, 2022

  • 健康 - LLM: 个性化检索增强疾病预测模型

    我们提出了一个名为 Heath-LLM 的创新框架，它结合了大规模特征提取和医学知识权衡评分，与传统的健康管理方法相比，具有三个主要优势，它将健康报告整合到一个大模型中以提供详细的任务信息，使用专业的医学专业知识来调整健康特征的加权得分，并使用半自动特征提取框架来增强语言模型的分析能力，并结合专家见解来提高疾病预测的准确性。我们对大量的健康报告进行了疾病预测实验，结果表明所提出的方法超过了传统方法，并有潜力革命性地改变疾病预测和个性化健康管理。

    Feb, 2024

  • 关于 PHM 中 XAI 的准确性

    本文提出一种应用于时间序列回归模型的 XAI 方法的关键性和比较式修订，以探索这些方法的有效性，并比较它们之间的性能差异，结果表明 GRAD-CAM 是最强大的方法。

    Mar, 2023

  • 人工智能监控系统的设计与实施：放射学自主 AI 监测系统的新时代

    我们提出了一种通过预警来监测医学成像 AI 分类模型性能变化的方法，该方法采用预测分歧度和时间稳定性这两个指标，通过使用 KL 散度和 JS 散度来评估模型准确性，并通过与历史移动平均值进行对比，检测模型退化或数据漂移，实验证明其在维护 AI 的可靠性方面有效。

    Nov, 2023

  • MLaaS 范式中的模型提取警告

    该研究提出了一种基于云的提取监视器，通过观察单个和串通的对手用户的查询和响应流来量化模型的提取状态，从而使用信息增益来测量具有不断增加查询数量的用户的模型学习速率，并维护智能查询摘要以在串通存在的情况下测量与输入特征空间覆盖度相关的学习速率，以提醒模型所有者可能存在侵犯攻击。

    Nov, 2017

  • 仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

    通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

    Aug, 2023

  • 深度学习在预测维护应用中的潜力、挑战和未来方向

    本文评估了应用深度学习于 Prognostics 和 Health Management（PHM）领域，用于检测、诊断和预测复杂工业资产故障的现状、挑战、潜在解决方案和未来研究需求。

    May, 2020