Jul, 2023

在反应系统内正式解释神经网络

PDF
TL;DR深度神经网络在反应式系统中作为控制器的应用越来越多。为了解释和证明其行为，可解释的人工智能（XAI）技术引起了人们的广泛兴趣。本文提出了一种形式化的 DNN 验证型 XAI 技术，用于推理多步骤的反应式系统，并通过利用系统的过渡约束来计算简洁的解释。在自动导航领域的两个广泛应用的基准测试中，我们的方法在计算最小和最小解释时表现出了高效的性能，同时比现有技术更可靠。
deep neural networksexplainable aireactive systemsdnn-verification-based xaiautomated navigation
发现论文，激发创造
  • 深度神经网络的理解、可视化和解释调查

    该篇论文综述了深度神经网络在机器学习中的应用，针对一些需要保证安全性的决策（如控制系统和医疗应用），介绍了当前解释性人工智能（XAI）领域的研究，探究和解释 DNNs 内部和整体行为的方法。

    Feb, 2021

  • 深度神经网络的解释处理

    本文发现了一个问题：通过微调输入图像，我们可以演示图像识别的解释方式可以通过进化策略对其进行任意操作。通过我们的 Adversarial XAI 算法 AttaXAI，我们能够在不使用梯度或其他模型内部的情况下，成功地在黑盒设置下操作解释方法，从而实现了对图像做微小改变却使 XAI 方法输出特定解释的目标。

    Nov, 2022

  • 深度强化学习中的可解释性

    本文评估了直接将可解释性与强化学习相关联的研究，分为两类：透明算法和事后解释能力，并从解释如何潜在地启示最新的强化学习进展的角度回顾了最突出的 XAI 作品，以便在日益严峻和复杂的现实问题的未来部署中有所启示。

    Aug, 2020

  • 解决谜题：推导深度网络的最优解释

    通过整合不同的解释方法并利用非线性的 “解释优化器”，我们提出了一种新颖的框架，旨在增强深度神经网络的可解释性，并通过实验证实了其有效性。

    May, 2024

  • Greybox XAI: 一种神经符号学习框架，用于生成可解释的图像分类预测

    通过形式化说明解释是什么，提出一些公理和定义来澄清可解释的人工智能的数学角度。最后，我们提出了一个 Greybox XAI 框架，该框架通过使用符号知识库将 DNN 和透明模型组成。我们从数据集中提取知识库，并使用它来训练透明模型（即逻辑回归）。然后，我们在 RGB 图像上训练编码器 - 解码器架构，以产生类似于透明模型使用的知识库的输出。一旦两个模型独立地训练好后，它们就在组成的形式上用于形成可以解释的预测模型。我们展示了这种新的架构在几个数据集中是准确的和可以解释的。

    Sep, 2022

  • 从聚类到聚类解释的神经网络方法

    提出基于神经网络和聚类模型的可解释 AI 框架，能够对数据的簇分配进行高效和可靠的解释，并且从分析数据和表示中提取新的见解。

    Jun, 2019

  • 可解释的神经符号视觉推理

    本文讨论了为非技术用户产生解释的最有效和高效的解决方案，提出了一种基于连接主义和符号范式的推理模型来解释神经网络的决策，并用一个例子演示了它的潜在用途。

    Sep, 2019

  • 深度神经网络解释

    研究了两种深度神经网络解释说明的主流方向，一种是基于特征的事后解释方法，另一种是自解释的神经网络模型，并生成自然语言解释。

    Oct, 2020

  • 深度学习的可重复性和可解释性人工智能 (XAI)

    本文通过图像分类示例调查深度学习（DL）训练算法的不确定性及其对神经网络（NN）模型可解释性的影响，探讨了创建实用性强的确定性，鲁棒性高的 DL 模型和确定性可解释人工智能（XAI）的可行性。并说明了其工作的成功与局限性，确定性模型的源代码已在本文中列出，同时介绍了欧盟在卓越人工智能的框架内提出的模型治理框架开发阶段组件所标注的可重复性，并探讨了在实现可重复性的过程中需要解决的问题以及处理某些问题的方法。

    Feb, 2022

  • 结合概念分析和 ILP 的 DNN 表达式解释

    该论文研究了如何利用深度学习神经网络中学习到的内在特征，利用概念分析方法和归纳逻辑编程理论，构建基于符号的模型，实现黑盒机器学习的可解释性，体现其透明度和可靠性的要求。

    May, 2021