May, 2024

前向扩散算法：从神经网络中提取线性函数逼近的可解释人工智能技术

PDF
TL;DR该论文介绍了一种前向传播算法，一种新颖的可解释人工智能（XAI）技术，旨在阐明深度神经网络的决策逻辑。与其他流行的可解释性算法（如集成梯度或 Shapley 值）不同，该算法能够在训练模型的单次前向传播中提取网络的准确且一致的线性函数解释。我们将该算法打包在一个名为 front-prop 的软件中，并演示了它在使用公开可用的基准数据集训练的三种不同神经网络架构中提供准确的线性函数的功效。
front-propagation algorithmexplainable aideep neural networkslinear function explanationbenchmark datasets
发现论文，激发创造
  • 利用 LRP 最佳实践解释神经网络决策

    本文研究探讨了解释型人工智能（XAI）中的一种常用方法 —— 层级相关性传递（LRP），发现新的应用方式能够更好地表征模型的推理，同时提高 LRP 的对象定位和类别区分性。

    Oct, 2019

  • 利用可解释的人工智能来提高神经网络的性能

    本研究提出了一种重新训练流程，使用 SHapley Additive explanations 值，从 XAI 入手并利用最先进的技术来增加模型的透明度和可信度，在人数统计场景和图像分类数据集上进行了实验验证，结果表明使用 SHAP-based 重新训练方法比使用相等加权训练方法更有效，分别提高了 4% 和 3% 的准确率。

    Oct, 2022

  • 概念反向传播：神经网络模型中学习概念的可解释人工智能方法

    通过使用概念检测和概念反向传播方法，我们提出了一种神经网络模型的可视化方法，可以直接在模型输入空间中显示模型所依赖的信息，进而分析训练模型所使用的知识。

    Jul, 2023

  • XAI for Transformers: 通过保守传递实现更好的解释

    本文讨论了使用梯度信息的 Transformer 解释性方法的效果不佳，识别输入特征对预测的贡献不可靠，提出了一种更稳定的方法，该方法可以被视为对 Transformer 的 LRP 方法的适当扩展，通过 Attention Heads 和 LayerNorm 层的更稳定传播， 在广泛的 Transformer 模型和数据集上实现了最先进的解释性能。

    Feb, 2022

  • 改进的前向对比学习

    在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

    May, 2024

  • 可解释人工智能的硬件加速

    本研究提出一种简单且高效的框架，通过存在的硬件加速器来加速各种 XAI 算法，并探索了 Tensor Processing Unit（TPU）加速 XAI 的有效性，利用卷积和傅里叶变换之间的协同关系，充分利用 TPU 在加速矩阵计算方面的本能能力，这种方法可以带来实时结果解释。与现有加速技术相比，基于 TPU 的提议方法可以提供对结果解释时间的巨大改善（平均 39 倍）以及能源效率（平均 69 倍）方面的提升。

    May, 2023

  • 从 “在哪里” 到 “是什么”: 通过概念关联传播实现人类可理解的解释

    该论文介绍了概念相关传播 (CRP) 方法，该方法结合了本地和全局 XAI 的观点，从而允许回答单个预测的 “何时” 和 “何物” 的问题，而无需施加其他限制。作者进一步介绍了相关性最大化的原则，以找到编码概念的有用代表性示例。作者演示了该方法在各种不同的设置中的能力，展示了概念相关传播和相关性最大化如何通过概念地图、概念组合分析和概念子空间的量化调查及其在细粒度决策中的作用，提供更人性化的解释和深入的模型表示和推理见解。

    Jun, 2022

  • 基于梯度反向传播的特征归因，实现边缘智能可解释性

    本研究为了实现边缘设备上的实时可解释人工智能（XAI），利用可配置的 FPGA 设计和优化算法提高多种特征归因算法的灵活性和性能，并演示了通过分配硬件资源的有效重复使用的路径，以最小化部分准确性损失。

    Oct, 2022

  • 机器学习模型中的统一解释：一种扰动方法

    面向可解释人工智能（XAI）的高速范式转变已在近年来出现。高度复杂的机器学习（ML）模型在许多智能任务中蓬勃发展，而问题开始从传统的有效性度量转向更深层次的问题：该模型告诉我关于我的数据什么，它是如何得出这些结论的？XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题，我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations（Shap）进行系统的扰动分析。我们设计了一些算法，在动态推理的设置下生成相对特征重要性，这些设置针对一套流行的机器学习和深度学习方法，以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系，度量了一致性，并观察了几个数据集中解释模型之间的可量化相似性。

    May, 2024

  • 可解释 AI 中基于梯度的特征归因：技术综述

    对基于梯度的解释方法进行了系统的探索和分类，并介绍了技术细节的实质和算法的演化，同时提出了使用人工和定量评估来衡量算法性能的挑战，为研究人员提供了对最新进展和相关缺点的了解，并激发了未来解决这些问题的兴趣。

    Mar, 2024