Apr, 2023

医疗保健中公平可信的预测模型验证路线图

PDF
TL;DR通过从目标人群中获取的新数据进行模型的外部验证，以确保验证性能的清晰用途和模型的可靠性，同时应该在模型开发期间谨慎调查模型的普适性，以开发并应用可靠、公平和可信的人工智能预测模型。
prediction modelexternal validationgeneralizabilitytarget populationartificial intelligence
发现论文，激发创造
  • 所有模型都是局部的：用重复局部验证代替外部验证的时间

    通过 MLOps 启发的重复本地验证范式，保证模型有效性，同时防止不断改变的数据变异对模型性能的破坏。外部验证不足以建立 ML 模型的安全性或实用性。

    May, 2023

  • 医疗人工智能中的泛化问题：发展可扩展模型的视角

    医学人工智能算法的泛化水平可以通过建立一个分层三级评估系统来反映，该系统更好地反映了真实医疗情境的多样性，其中用于重新校准模型的目标领域数据可能可用也可能不可用，并且如果可用的话，可能或可能不会系统地提供参考标签。

    Nov, 2023

  • 准确的预测模型导致有害的自我实现预言

    使用预测模型做医学决策可能导致有害结果，即使部署后这些模型的预测能力良好，我们需要改变用于医学决策的预测模型的验证、部署和评估过程。

    Dec, 2023

  • 评估性能预测模型的泛化能力

    本研究提出了一种可以估算算法性能预测模型泛化能力的方法，并通过在基准测试套件之间训练预测模型来测试该方法的可行性，结果表明，特征空间中的泛化模式确实反映在性能空间中。

    May, 2023

  • 重症监护病房患者预测模型的普适性

    本文研究了使用多种来源的数据，以 eICU 协作研究数据库为例，证明了交叉验证可以提供合理的模型性能估计，表明跨不同医院训练的单一模型具有很强的泛化能力，强调了数据共享可以优化模型的性能。

    Dec, 2018

  • 医疗 AI 校准：朝着可靠且可解释的深度预测模型

    本篇论文提出了一种基于置信度校准的学习方法，能够同时满足模型可靠性和可解释性，通过皮肤镜图像的病变分类问题验证了该方法的有效性，同时还提出了一种全面评估模型可靠性的机制 - Reliability Plots。

    Apr, 2020

  • 当 AI 模型进行外推时我们应该信任它们到什么程度？

    该论文探究了人工智能模型在数据输入超出训练集范围时的外推现象及其对社会应用的影响，并分析了外推在不同维度（如种族、性别和年龄）中的发生，并提出一种人文的解释方式。

    Jan, 2022

  • 学习机器在健康与更广领域的应用

    机器学习模型在医疗领域应用时需要进行后期维护和监控，以保证在实际应用中能够安全有效地使用。

    Mar, 2023

  • 可解释的临床风险预测人工智能：概念、方法和形式调查

    AI 在医疗应用中的最新进展显示出在诊断和疾病预测方面超越人类表现的巨大潜力。然而，随着 AI 模型的复杂性日益增加，人们对其不透明性、潜在偏见和解释性的需求也越来越担忧。为了确保 AI 系统的信任和可靠性，特别是在临床风险预测模型中，解释性变得至关重要。这篇综述中，我们讨论了这些概念之间的关系，因为它们经常一起或可互换使用。该综述还讨论了最近在发展用于临床风险预测的可解释模型方面的进展，强调了定量和临床评估和验证在临床实践中的多个常见模态上的重要性。它强调了外部验证和多种解释性方法的结合以增强信任和公平性的必要性。采用严格的测试，例如使用具有已知生成因素的合成数据集，可以进一步提高解释性方法的可靠性。开放访问和代码共享资源对于透明性和可重现性至关重要，以促进可解释性研究的增长和可信度。尽管存在挑战，但将解释性纳入临床风险预测的端到端方法，包括从临床医生到开发人员的利益相关者，对于取得成功至关重要。

    Aug, 2023

  • 基于组织病理学图像的经外部验证的机器学习模型对女性乳腺癌的诊断、分型、预后或治疗结果预测的性能评估：一项系统综述

    评估鉴于组织病理图像的机器学习模型在女性乳腺癌诊断、分类和预后方面的性能，并说明了外部验证的重要性和存在的挑战。

    Dec, 2023