Nov, 2023

人工智能监控系统的设计与实施：放射学自主 AI 监测系统的新时代

PDF
TL;DR我们提出了一种通过预警来监测医学成像 AI 分类模型性能变化的方法，该方法采用预测分歧度和时间稳定性这两个指标，通过使用 KL 散度和 JS 散度来评估模型准确性，并通过与历史移动平均值进行对比，检测模型退化或数据漂移，实验证明其在维护 AI 的可靠性方面有效。
发现论文，激发创造
  • RAISE -- 放射学人工智能安全，端到端的生命周期方法

    通过认真评估和验证以确保 AI 模型达到最高的安全、有效性和功效标准，上线前以及生产使用中实施输入和输出保护措施、持续监测并追踪人群水平性能、公正性和结果传递、定期审查上线后的模型性能、教育放射科医生关于新的算法驱动发现对于 AI 在临床实践中的有效应用至关重要，强调在多个层面上合作的质量保证是重要的，从立法、临床、技术和伦理等方面，通过透明地展示 AI 遵守与其他已建立的医疗技术相同的严格的安全、有效性和功效标准，树立开发者、提供者和患者等的信心，使 AI 可靠扩展并实现其潜在的益处的愿景，本论文提出的路线图旨在加快 AI 在放射学中可部署、可靠和安全的实现。

    Nov, 2023

  • 自我监督的共同学习：对未加工的医疗影像和报告进行处理，实现放射学 AI 监督

    该研究介绍了一种适用于医学领域的自我监督视觉语言预训练模型 Medical X-VL，展示该模型在医学领域的视觉语言任务中的超越性能，并证明了在新疾病诊断和监测人类错误等方面，Oversight AI 具有广泛的应用潜力。

    Aug, 2022

  • 放射治疗深度学习分割模型实时监测的质量保证框架

    本文利用心脏亚结构分割任务为例，建立了一个深度学习模型质量保证框架，其中通过使用训练自动编码器（DAE）和两个手工设计的特征来开发图像域移位检测器，再利用提取的特征训练回归模型来预测患者关键数据的分割精度，并成功测试了该框架。

    May, 2023

  • 评估人工智能中预测可靠性以建立信任 —— 以多发性硬化为案例研究

    应用人工智能（AI）和机器学习（ML）在关键领域，如医学，需要实施安全措施，以降低预测错误带来的风险。本研究提出了一种评估 ML 预测可靠性的方法，该方法旨在通过检测 ML 失败来提供对临床决策的决策支持，并开发了一个名为 relAI 的 Python 包来嵌入可靠性度量到 ML 流程中。

    Feb, 2024

  • 监控机器学习模型：在线检测相关偏差

    该研究提出了一种序列监测方案，通过考虑测量模型质量的时间依赖性，减少不必要的警报并解决多重测试问题，从而在检测模型质量相关变化方面优于基准方法。此研究为在动态环境中区分小幅波动和有意义的模型性能退化提供了实用解决方案，确保机器学习模型的可靠性。

    Sep, 2023

  • 面向医学影像人工智能的客观系统偏见评估

    通过一种新的分析框架，我们展示了如何系统性、客观地研究医学图像中的偏见对人工智能模型的影响，并评估偏见缓解策略在性能差异方面的有效性，从而支持开发健壮、负责任的临床人工智能。

    Nov, 2023

  • 人工智能算法的控制与监测

    解释了在部署后管理人工智能模型的重要性，以及监控现有数据的分布与训练数据之间的潜在波动。阐明了数据漂移和概念漂移的概念以及它们各自的基础分布。此外，引入了一系列度量指标，可用于审查模型在潜在时间变化方面的性能。

    Jul, 2023

  • ML Health: 为生产模型提供的健身追踪

    ML Health 为监测机器学习模型预测性能潜在下降提出了一种诊断方法，并将该方法应用于一种实现了全生产生命周期的系统中，来自动化追踪并生成进一步调查的警报。

    Feb, 2019

  • 一个嵌入在开源放射学信息系统中的通用 AI 助手

    本文提出了一种新颖的基于机器教学、整合了 DICOM 标准 SR 注释的人工智能模型服务，以及将其集成到开源的 LibreHealth 放射学信息系统（RIS）中。此平台利用主动学习策略，使得放射学家与模型之间可以建立合作关系，并且运用群集学习方法，实现了共享有多个用户的用户特定模型权重的目标。

    Mar, 2023

  • 关于 PHM 中 XAI 的准确性

    本文提出一种应用于时间序列回归模型的 XAI 方法的关键性和比较式修订，以探索这些方法的有效性，并比较它们之间的性能差异，结果表明 GRAD-CAM 是最强大的方法。

    Mar, 2023