本研究探索使用具備精確及全面物件分割能力的 Segment Anything Model (SAM) 來增強基於概念的可解釋人工智慧 (Explainable AI, XAI) 方法。我們提出了一種稱為 Explain Any Concept (EAC) 的概念解釋方法，可以有效靈活地解釋深度神經網絡 (DNN) 的決策。我們的評估結果表明，EAC 方法在 ImageNet 和 COCO 兩個常用的數據集上的表現非常鼓舞人心，優於常用的 XAI 方法。

May, 2023

本文发现了一个问题：通过微调输入图像，我们可以演示图像识别的解释方式可以通过进化策略对其进行任意操作。通过我们的 Adversarial XAI 算法 AttaXAI，我们能够在不使用梯度或其他模型内部的情况下，成功地在黑盒设置下操作解释方法，从而实现了对图像做微小改变却使 XAI 方法输出特定解释的目标。

Nov, 2022

最近的研究关注点已经从简单地提高深度神经网络（DNNs）在各种任务中的性能转向了更具人可解释性的 DNNs。人工智能解释性领域已经观察到了包括基于显著性和基于概念的技术。概念是人类可理解的数据单元，是人类思考的基础。本文系统地回顾和分类了 DNNs 中各种概念表示及其发现算法，特别是在视觉领域。同时也提供了关于基于概念的模型改进文献的详细信息，这是第一个调查基于概念的模型改进方法的研究。

Mar, 2024

利用自我解释的架构跨领域进行概念学习，提出新的概念显著网络、对比学习和基于原型的概念基准规范化方法来解决概念一致性和泛化能力的问题，并在四个实际数据集上展示了方法的有效性。

May, 2024

本文提出了一个基于概念的后续解释 AI 框架，通过原型模型不仅传达了每个实例的决策策略 (局部)，而且还传达了整体的类别决策策略 (全局)，从而降低了对人类长期评估的依赖，并使模型验证成为一个直观且可解释的工具。

Nov, 2023

通过整合不同的解释方法并利用非线性的 “解释优化器”，我们提出了一种新颖的框架，旨在增强深度神经网络的可解释性，并通过实验证实了其有效性。

May, 2024

该论文研究了如何利用深度学习神经网络中学习到的内在特征，利用概念分析方法和归纳逻辑编程理论，构建基于符号的模型，实现黑盒机器学习的可解释性，体现其透明度和可靠性的要求。

May, 2021

最近几年，高度复杂人工智能系统的新应用数量大幅增长。算法决策系统 (ADMs) 是其中之一，其通过人工智能系统代替人类专家的决策过程。为确保此类系统的公平性和透明性，可解释人工智能 (XAI) 越来越重要。一种实现可解释性的变体是 surrogate 模型，即基于黑盒模型的输入 - 输出关系训练新的简化的机器学习模型的思想。简化的机器学习模型可以是决策树，被认为对人类直观可理解。然而，关于 surrogate 模型多好地逼近黑盒模型，我们知之甚少。本文的主要假设是一个良好的 surrogate 模型方法应能引起人类的注意力，先前我们假定一个 surrogate 决策树在其前几层将识别出这种歧视模式。然而，在本文中我们展示，即使被歧视的子群体在所有类别上与其他相同，也不会从黑盒 ADM 系统获得任何正面决策，相应的群体成员问题可以由系统操作者推迟到任意低的层级。我们进一步将此发现推广到准确定位歧视问题被问及的决策树层级，并展示在更现实的场景中，即只有某一部分处于劣势的群体才发生歧视，隐藏这种歧视行为更加可行。我们的方法可以轻易应用于其他 surrogate 模型。

Jun, 2024

该研究提出了一种使用新方法训练的深度超网络来生成可解释的线性模型的方法，以保留黑匣子深度网络的准确性并提供自由的可解释性，而需要与黑匣子深度模型相同的运行时和内存资源，实现了实用性，实验结果表明，该可解释的深层网络在表格数据上与最先进的分类器一样准确，且在实际预测中也具有与最先进的解释技术相当的解释能力。

May, 2023

本文探讨不同非线性分类场景下，解释性人工智能模型的表现，并通过一系列实验测试发现，当前流行的 XAI 方法往往无法显著提高准确性基线和边缘检测方法，甚至在不同模型结构下产生非常不同的解释，存在误解的风险。

Jun, 2023