解释性人工智能在解密人工智能决策过程中，特别是在医疗行业中起着不可或缺的作用，医生在诊断时倚赖详尽的推理，传统方法无法达到的进步。然而，这些模型的复杂性和不透明性既是优势也是劣势，他们作为 “黑匣子” 运作，其推理方式被遮蔽不可访问，增加了误诊的风险，从而可能导致患者伤害。因此，有一个迫切的需求来培养透明度，在医疗界中确保机器推出的诊断建议的逻辑是清晰可理解的，这种转向透明度不仅是有益的，更是在医疗行业中负责任的人工智能整合关键一步，确保人工智能能够帮助而不是阻碍医务人员的重要工作。

Mar, 2024

本文探讨了 AI 技术在人类辅助诊断中的应用以及如何设计合适的工作流程来整合人与 AI 的协同工作，通过开展用户研究，概述了 AI 呈现时间对人 - AI 团队性能和协议的影响，总结了在人 - AI 协作过程中遇到的问题以及 AI 工具开发中需考虑的事项。

May, 2022

研究发现，即使在诊断精度高于人类专家的情况下，人类专家仍然可能会为高风险预测任务添加价值，并提出了一种统计框架来检测这种专家水平。这个框架在急诊科的数据上进行了测试。

Jun, 2023

本文提出了一种混合模型用于警报系统，该模型将统计模型与白名单机制相结合，以解决大规模网络系统中可伸缩性、数据异构性、可泛化性和可维护性的挑战，从而减少假阳性警报。

Jun, 2023

解释性对于增强人工智能在医学领域的可信度至关重要，然而，关于可解释模型对临床决策实际效益的讨论仍存在多个问题，包括缺乏评估框架、医生中心评估的限制以及基于 Transformer 模型的内置注意力机制作为可解释性技术的效用不明确。通过使用临床数据和磁共振成像来预测直肠癌淋巴结转移，我们使用多模态 Transformer 模型探索了通过最先进的技术可视化的注意力图能够与医生理解达成一致的程度，并通过预测概率方差和一致性量化评估模型的不确定性。研究发现，并未证实注意力图在增强模型可靠性方面的预期效益，表面的解释可能会误导医生依赖不确定的预测，因此应不过分高估当前解释性中的注意力机制，鉴定真正对临床决策有益的解释性机制仍然至关重要。

Dec, 2023

本研究旨在评估两种流行的可解释人工智能方法在医疗保健背景下解释预测模型的精确度，重点考虑是否产生与应用任务相一致的域适当表示，如何影响临床工作流程以及是否一致性，结果表明目前的技术还有改进的空间。

Jun, 2023

本文简要综述了现有的工作，并从解释性、公平性、鲁棒性和隐私保护的角度讨论了可信的异常检测的开放问题。

Feb, 2022

通过提出一种深度异常检测方法，以仅需常见疾病的训练数据为基础，可可靠地检测出胃肠活检中异常病理变化的广泛谱系，包括罕见的原发性或转移性癌症，从而在临床病理学中实现了基于人工智能的异常检测的首个有效临床应用，有效地提高了 AI 模型的安全性，推动了 AI 在日常诊断和其他领域的应用与自动化。

Jun, 2024

讨论了利用非监督异常检测构建基于人工智能的交互式系统的潜力，重点是针对高度情境化的人人通信环境，可以与领域专家协作。

Jun, 2022

本文提供了一个实用的评估框架，用于可解释机器学习模型对于临床决策支持的贡献。研究揭示了 ML 解释模型的更加细致的作用，以及将其实用地嵌入临床背景的方法。 该研究发现，尽管医疗保健专业人员普遍对解释持有积极态度，但对于一定比例的参与者来说，存在负面影响，如确认偏差、过度依赖模型和增加与模型的交互的努力。此外，标准的解释模型显示出支持对模型限制进行关键理解的能力有限。但是，我们发现了具有新的显著积极影响的效果，重新定位了临床背景下解释的作用：包括减少自动化偏差、解决模糊的临床案例（医疗保健专业人员对其决策不确定的情况）并支持获取新领域知识的经验不足的医疗保健专业人员。

Apr, 2022