本文介绍了可解释人工智能（XAI）中的概念分析（CA）方法及其在深度神经网络内的应用，提供了一般性的CA定义和分类，总结了30多种相关方法和15个数据集，同时指出了未来研究方向和挑战。

Mar, 2022

本文对计算机视觉中基于归因的Explainable AI (XAI) 方法进行了全面概述，并回顾了梯度、扰动和对比方法，提供了开发和评估强健XAI方法的关键挑战的见解。

Nov, 2022

研究将人的注意力知识融入到基于显著性的XAI（可解释人工智能）方法中，以增强计算机视觉模型的合理性和可靠性，并开发了新的基于梯度的XAI方法来生成物体特定的解释，并使用可训练的激活函数和平滑核来最大化XAI显著图与人类注意图的相似性，从而在物体检测模型中同时提高了可靠性和合理性。

May, 2023

本研究探索使用具備精確及全面物件分割能力的 Segment Anything Model (SAM) 來增強基於概念的可解釋人工智慧 (Explainable AI, XAI) 方法。我們提出了一種稱為 Explain Any Concept (EAC) 的概念解釋方法，可以有效靈活地解釋深度神經網絡 (DNN) 的決策。我們的評估結果表明，EAC 方法在 ImageNet 和 COCO 兩個常用的數據集上的表現非常鼓舞人心，優於常用的 XAI 方法。

May, 2023

深度学习算法的崛起在计算机视觉任务中取得了重大进展，但它们的“黑匣子”性质引发了对可解释性的关注。可解释人工智能（XAI）作为一个重要的研究领域出现，旨在打开这个“黑匣子”，并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集，通过突出显示输入图像中的重要区域，为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个XAI基准，其中包括来自不同主题的数据集集合，为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程，在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外，我们对视觉解释的超过10种评估方法进行综合评述，以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能，我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个XAI数据集合和用于评估的易于使用的代码公开可访问。

Oct, 2023

本研究探讨了用于视觉Transformer的不同解释性方法，并提出了根据其动机、结构和应用场景进行分类的分类法。此外，还提供了用于比较解释结果的综合评价标准，以及解释性工具和框架。最后，本文突出了可以增强视觉Transformer可解释性的重要但未被开发的方面，并提出了未来需进一步研究的方向。

Nov, 2023

最近的研究关注点已经从简单地提高深度神经网络（DNNs）在各种任务中的性能转向了更具人可解释性的DNNs。人工智能解释性领域已经观察到了包括基于显著性和基于概念的技术。概念是人类可理解的数据单元，是人类思考的基础。本文系统地回顾和分类了DNNs中各种概念表示及其发现算法，特别是在视觉领域。同时也提供了关于基于概念的模型改进文献的详细信息，这是第一个调查基于概念的模型改进方法的研究。

Mar, 2024

通过用户互动，我们提出了一种基于互动的可解释的AI方法，通过修改图像来观察分类结果的变化，使用户能够辨别影响模型决策过程的关键特征，从而将他们的心智模型与模型逻辑对齐。该方法通过用户参与和理解为可解释的AI系统提供了更直观和易于访问的方式。

Apr, 2024

该研究提出了一种通过生成基于概念的原型来解释计算机视觉模型预测的方法，该方法可以快速创建领域专家可直观理解的基于概念的解释。通过与其他基于概念的解释方法的对比，该方法在粗粒度图像分类任务上表现出很好的竞争力，并且在更具挑战性的细粒度任务上甚至可能表现更优。该方法在人机协作环境中通过定性和定量用户研究证明其有效性。

Apr, 2024

这篇论文针对XAI在语义图像分割中的应用，提出了第一份全面的综述。文章对应用类别、领域、评估指标和数据集进行了分析和分类，并提出了可解释的语义分割的分类体系，讨论了潜在的挑战和未来研究方向。

May, 2024