Apr, 2024

关于标记数据和符号方法在隐藏神经元激活分析中的价值

PDF
TL;DR通过解释隐藏神经元的激活来理解可解释人工智能是一个重要的挑战：准确的解释有助于回答深度学习系统内部检测输入中什么是相关的问题，揭示深度学习系统原本的黑盒特性。该论文介绍了一种新颖的与模型无关的可解释人工智能方法，通过使用约 200 万个类别的维基百科派生的概念层次结构作为背景知识，并利用 OWL 推理进行解释生成。研究结果表明，该方法在定量和定性方面与先前的方法相比，为密集层的个别神经元自动添加有意义的类别表达式作为解释，具有竞争优势。
explainable aihidden neuronsinterpretationsconcept inductionconvolutional neural network
发现论文，激发创造
  • 使用概念归纳解释深度学习隐藏神经元的激活过程

    本文通过使用来自维基百科概念层次结构的近 200 万类别级的大规模背景知识与一种称为 “概念归纳” 的符号推理方法，提出并演示了一种方法来自动附加有意义的标签到卷积神经网络的密集层中的个别神经元，以实现对神经元激活的解释。

    Jan, 2023

  • 利用结构化背景知识和演绎推理理解 CNN 隐藏神经元激活

    解释性人工智能中的一个重要挑战是如何正确解释隐藏神经元的激活：准确的解释可以揭示深度学习系统在输入上检测到的相关信息，解密了深度学习系统的黑盒特性。本文提供了一种基于大规模背景知识和概念归纳的符号推理方法的研究，旨在自动推断和验证隐藏神经元激活的解释，结果表明我们可以自动将背景知识的有意义标签附加到卷积神经网络的密集层的个体神经元上。

    Aug, 2023

  • 隐层神经元激活标签的误差边界分析

    人工神经网络中高级概念的表示是人工智能领域中的一个基本挑战，解释性人工智能的现有文献强调了用概念标签化神经元以理解其功能的重要性，但它们主要关注识别刺激激活神经元的是什么，而我们认为这只是两个任务中的第一个，还有必要研究神经元对其他刺激的响应，即它们的精确性，我们称之为神经元标签误差边界。

    May, 2024

  • 关于激活规则的 GNN 可解释性研究

    GNNs 利用节点表示学习构建的强大模型在与图相关的许多机器学习问题中表现出色，但其部署的主要障碍在于社会可接受性和可信度问题，我们提出了通过挖掘隐藏层的激活规则来理解 GNN 对世界的感知，以解决这一问题，并介绍了主观激活模式领域。通过信息论的基于背景知识的方法来确定激活规则的兴趣度，从而揭示了 GNN 用于分类图的特征和不同层所构建的隐藏特征，同时这些规则还可用于解释 GNN 的决策。实验结果表明在合成和真实数据集上，这些规则在解释图分类方面具有高竞争性，可提高 200% 的准确度。

    Jun, 2024

  • 从神经激活到概念：关于解释神经网络中的概念的调查

    综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

    Oct, 2023

  • 深度神经网络及其相关方法和应用综述

    本文概述了新兴的解释型 AI 领域，着重介绍了 “事后” 解释，从理论和比较评估的角度对解释算法进行测试并总结最佳应用实践，在代表性应用场景中成功使用可解释的 AI，并讨论其未来挑战和方向。

    Mar, 2020

  • 基于熵的神经网络逻辑解释

    该论文提出了一种基于熵的标准及一种新的端到端可微分的方法，用于从概念神经网络中提取逻辑解释，该方法使用一阶逻辑的形式化定义，并考虑了四个案例研究来证明这种熵基准能够从临床数据到计算机视觉中，在安全关键领域中提取简洁的逻辑解释。

    Jun, 2021

  • 结合概念分析和 ILP 的 DNN 表达式解释

    该论文研究了如何利用深度学习神经网络中学习到的内在特征，利用概念分析方法和归纳逻辑编程理论，构建基于符号的模型，实现黑盒机器学习的可解释性，体现其透明度和可靠性的要求。

    May, 2021

  • 通过自编码激活实现深度神经网络的因果学习和解释

    通过构建深度神经网络中的因果模型并使用自动编码器提取关键概念作为变量，我们开发了一种解释神经网络输出预测的方法，并使用该因果模型识别和可视化对最终分类具有显着因果影响的特征。

    Feb, 2018

  • 可解释的神经符号视觉推理

    本文讨论了为非技术用户产生解释的最有效和高效的解决方案，提出了一种基于连接主义和符号范式的推理模型来解释神经网络的决策，并用一个例子演示了它的潜在用途。

    Sep, 2019