Dec, 2023

医生判断能提高模型可信度吗？以直肠癌病理性淋巴结预测为例的案例研究

PDF
TL;DR解释性对于增强人工智能在医学领域的可信度至关重要，然而，关于可解释模型对临床决策实际效益的讨论仍存在多个问题，包括缺乏评估框架、医生中心评估的限制以及基于 Transformer 模型的内置注意力机制作为可解释性技术的效用不明确。通过使用临床数据和磁共振成像来预测直肠癌淋巴结转移，我们使用多模态 Transformer 模型探索了通过最先进的技术可视化的注意力图能够与医生理解达成一致的程度，并通过预测概率方差和一致性量化评估模型的不确定性。研究发现，并未证实注意力图在增强模型可靠性方面的预期效益，表面的解释可能会误导医生依赖不确定的预测，因此应不过分高估当前解释性中的注意力机制，鉴定真正对临床决策有益的解释性机制仍然至关重要。
explainabilityartificial intelligencemedicineattention mechanismsmodel reliability
发现论文，激发创造
  • 自然语言处理的可解释性评估及性能和可解释性之间的算法分析

    探讨了在医疗保健领域中机器学习的应用。通过在 MIMIC-III 临床笔记中预测死亡率的任务中，我们展示了各种可完全解释的方法和模型不可知后续属性的可视化技术，同时提供了评估解释质量的通用方法。

    Jul, 2021

  • 评估 AI 模型与医疗保健专业人员之间的沟通差距：可解释性、实用性和信任的 AI 驱动临床决策

    本文提供了一个实用的评估框架，用于可解释机器学习模型对于临床决策支持的贡献。研究揭示了 ML 解释模型的更加细致的作用，以及将其实用地嵌入临床背景的方法。 该研究发现，尽管医疗保健专业人员普遍对解释持有积极态度，但对于一定比例的参与者来说，存在负面影响，如确认偏差、过度依赖模型和增加与模型的交互的努力。此外，标准的解释模型显示出支持对模型限制进行关键理解的能力有限。但是，我们发现了具有新的显著积极影响的效果，重新定位了临床背景下解释的作用：包括减少自动化偏差、解决模糊的临床案例（医疗保健专业人员对其决策不确定的情况）并支持获取新领域知识的经验不足的医疗保健专业人员。

    Apr, 2022

  • 可解释的医学诊断变压器原型

    人工智能在医学诊断中的部署需要准确性、有效性和可信性，强调机器决策的可解释性。最近自动化医学图像诊断的趋势倾向于采用基于 Transformer 的架构，归功于其令人印象深刻的能力。我们的研究旨在创新一种强调 “区域” 而非 “像素” 相关性的独特注意块，以应对这一挑战。引入基于样本学习的创新系统，具备先进的自注意机制，并通过提供可理解的视觉洞察力，超越传统的临时视觉解释技术。我们使用定量和定性的方法论，演示了该方法在大规模的 NIH 胸部 X 射线数据集上的有效性。实验结果表明，我们提出的方法为可解释性提供了有希望的方向，这可以导致更可信的系统的发展，并促进这种技术更容易和快速地应用于常规诊所中。代码可在 www.github.com/NUBagcilab/r2r_proto 找到。

    Mar, 2024

  • 利用后启发式方法增强脑肿瘤数据集中深度学习模型的解释性

    本研究致力于提高深度学习模型在医学诊断中的可解释性，通过基于特定场景规则的后处理机制来优化 LIME Library 和 LIME 图像解释器生成的解释。该研究使用与脑瘤检测相关的公开数据集进行了多次实验，所提出的后启发式方法在医学诊断中取得了显著的进展，产生了更加可靠和具体的结果。

    Apr, 2024

  • 临床医师的需求：将可解释机器学习应用于临床实际

    本文通过对两个主要急诊科室医疗工作者的访谈，阐述机器学习模型在临床实践中如何建立医生的信任以及可解释性所发挥的关键因素，最终提出了评估临床可解释方法的具体指标。

    May, 2019

  • 关于甲状腺结节诊断可解释人工智能的可信性探究

    本研究使用最先进的可解释人工智能方法，如核密度估计和密度图来解释甲状腺结节诊断应用程序中黑匣子的人工智能模型的预测，以提高医学决策过程的透明度和可理解性，并评估医生和患者对于该模型决策的 XAI 解释的信任度。

    Mar, 2023

  • 评估流行的可解释人工智能在临床预测模型中的应用：能否信赖？

    本研究旨在评估两种流行的可解释人工智能方法在医疗保健背景下解释预测模型的精确度，重点考虑是否产生与应用任务相一致的域适当表示，如何影响临床工作流程以及是否一致性，结果表明目前的技术还有改进的空间。

    Jun, 2023

  • 通过重写模型决策实现可信的皮肤癌诊断

    本文研究了深度神经网络在皮肤癌诊断中可能存在的混淆因素问题，并提出了人类介入的模型训练框架，在黑盒模型解释性概念空间中解释了复杂特征表示，并对数据集进行了清洗，最终提高了模型的性能与可靠性。

    Mar, 2023

  • 感知的限度：分析解释型人工智能中显著性地图的不一致性

    解释性人工智能在解密人工智能决策过程中，特别是在医疗行业中起着不可或缺的作用，医生在诊断时倚赖详尽的推理，传统方法无法达到的进步。然而，这些模型的复杂性和不透明性既是优势也是劣势，他们作为 “黑匣子” 运作，其推理方式被遮蔽不可访问，增加了误诊的风险，从而可能导致患者伤害。因此，有一个迫切的需求来培养透明度，在医疗界中确保机器推出的诊断建议的逻辑是清晰可理解的，这种转向透明度不仅是有益的，更是在医疗行业中负责任的人工智能整合关键一步，确保人工智能能够帮助而不是阻碍医务人员的重要工作。

    Mar, 2024

  • 面向诊所可信人工智能的情境依赖性可解释性与可争辩性：早产儿患病识别模型中的误分辨识别

    该研究通过解释 AI 推荐来支持临床医生识别 ML 模型训练中的失误，并提出了一种基于临床背景潜在空间、全局解释和基于潜在空间相似性的本地解释的方法来支持医生鉴定基于表格数据的 ML 模型的失误，在早产儿并发症的风险评估中取得了成功应用，并提供临床实用的支持建议。

    Dec, 2022