由于医疗决策的重要性，对于医学图像分析中的可解释深度学习方法有着强烈的需求。本文提出了一种基于证据学习的概念嵌入模型 (ev-CEM)，用于建模概念的不确定性，并利用其来纠正在没有完全概念监督下使用视觉 - 语言模型训练概念瓶颈模型时出现的概念错位。通过使用所提出的方法，我们可以增强监督和高效标签设置下的概念解释的可靠性。此外，我们还引入了概念的不确定性以实现有效的测试时干预。我们的评估结果表明，ev-CEM 在概念预测方面具有出色的性能，并且所提出的概念纠正方法有效地减少了高效标签训练中的概念错位。我们的代码可在此 https URL 获取。

Jun, 2024

本文介绍了可解释人工智能（XAI）中的概念分析（CA）方法及其在深度神经网络内的应用，提供了一般性的 CA 定义和分类，总结了 30 多种相关方法和 15 个数据集，同时指出了未来研究方向和挑战。

Mar, 2022

神经网络的可解释性和解释能力在特别是在安全关键领域和提供社会解释权方面不断增加。定概念解释在线合人类推理的方式上效果良好，是一种很好的解释模型的方法。概念嵌入模型是一种基于概念的解释架构，已经证明在解释能力和性能之间取得了平衡。然而，它们存在一个关键限制 -- 需要为所有训练数据提供概念注释。针对这一问题，我们提出了自动概念嵌入模型（ACEMs），可以自动学习概念注释。

Sep, 2023

通过构建深度神经网络中的因果模型并使用自动编码器提取关键概念作为变量，我们开发了一种解释神经网络输出预测的方法，并使用该因果模型识别和可视化对最终分类具有显着因果影响的特征。

Feb, 2018

本文提出 Causal Concept Effect (CaCE) 方法，借助有关联的人类可解释概念，定义并证明了一种深度神经网络的预测因果效应，并运用生成模型 VAE-CaCE 进行模拟，来度量预测错误来源于混淆的可能性，并在大量实验分析中证明了该模型在高维图片等多项数据集中的有效性。

Jul, 2019

文章提出了 CausaLM 框架，基于 fine-tuning 的 deep contextualized embedding models 通过辅助对抗性训练任务，学习给定概念的反事实表示，用于估计其对模型性能的真实因果效应。我们的方法的副产品是一种语言表示模型，可以减轻数据中固有的不良偏差。

May, 2020

通过构建和解释高层概念的预测，概念瓶颈模型（CBMs）解决了神经架构的不透明性。我们提出了一种新的 CBM 基于架构和训练范式的模型，称为 Intervention-aware Concept Embedding models（IntCEMs），通过在训练时学习概念干预策略，有效地选择和接受概念干预，从而在测试时显著提高性能。我们的实验证明，当提供测试时概念干预时，IntCEMs 明显优于最先进的概念可解释模型，验证了我们方法的有效性。

Sep, 2023

本文提出了一种基于因果分析的鲁棒性干预方法，以捕获神经网络内部的因果机制，从而审核模型行为，获得更加稳定和可信的解释，该方法适用于图像分类等任务。

May, 2023

该研究提出了一种新的概念限制模型 —— 概念嵌入模型，学习解释性高维概念表示，支持人类干预和提高模型性能，这是一个在真实世界条件下优化准确性、鲁棒性和解释能力之间权衡的方案。

Sep, 2022

通过可解释的人工智能工具和符合可解释人工智能原则的模型简化，本研究探讨了透明度问题在公共政策评估中对因果机器学习的影响，并应用到一个案例研究中，展示了现有工具对于理解黑盒预测模型的不适用性，以及将模型简化以提高可解释性会导致误差的不可接受增加，最终得出需要新工具来正确理解因果机器学习模型及其拟合算法的结论。

Oct, 2023