深度神经网络推理方法的一种解释 —— 结构化视觉概念

CVPRMay, 2021

深度神经网络推理方法的一种解释 —— 结构化视觉概念

A Peek Into the Reasoning of Neural Networks: Interpreting with Structural Visual Concepts

Yunhao Ge, Yao Xiao, Zhi Xu, Meng Zheng, Srikrishna Karanam...

TL;DR本文提出了一个基于结构化视觉概念的框架（VRX），以解释分类神经网络的推理过程，并提供模型决策的逻辑和概念层次的解释，旨在弥补黑盒神经网络缺乏可解释性和透明性的缺陷。通过广泛的实验，研究表明 VRX 可以有效地回答关于预测的 “为什么” 和 “为什么不” 的问题，提供易于理解的洞察，同时还可以提供改善神经网络性能的指导意见。

Abstract

Despite substantial progress in applying neural networks (NN) to a wide variety of areas, they still largely suffer from a lack of transparency and interpretability. While recent developments in explainable artificial intelligence attempt to bridge this gap (e.g., by visualizing the co

neural networks explainable artificial intelligence interpretation knowledge distillation concept-level explanations

发现论文，激发创造

人类与神经网络之间的双向知识交互接口

通过构建一个双向交互界面，利用结构化的视觉概念及其关系作为人与神经网络之间的知识交流的 “语言”，研究在解释性人工智能领域取得了一定成果，但目前尚未提供人与神经网络之间的有效方法，以解决神经网络的可解释性和人机知识交互之间的问题。实验证明，通过该交互界面，神经网络能够向人类提供易于理解的推理解释过程，并且人类的参与和先验知识能够直接有效地提升神经网络的性能。

Jan, 2024

基于概念的全局神经元分析方法解释图神经网络

本文通过研究图神经网络（GNNs）中个别神经元的行为，提出新的度量方法和全局解释方法，证明 GNN 神经元充当概念探测器，在逻辑组合的节点度和邻域属性的概念中具有良好的对齐性，将 GNNs 转换成易于理解的概念级别，提高模型的解释性和透明性，并通过实验证明了其优越性。

Aug, 2022

神经网络中的正式概念视图

本研究介绍了两种神经网络的概念视图，即多值视图和符号视图，并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外，论文还展示了这些视图可以量化不同学习架构之间的概念相似度，并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则，从而为全局解释神经网络模型做出贡献。

Sep, 2022

感知可视化：透过深度神经网络的视角看世界

该论文的研究内容主要涵盖了人工智能、深度神经网络、可解释 AI、视知觉技术以及深度模型的调试等领域。论文提出的 Perception Visualization 技术通过可视化深度模型对于输入图像的感知来解释模型预测结果，研究发现人类能够更好地理解和预测系统决策，从而使深度模型的调试和部署更加可靠。

Apr, 2022

正确的概念：通过与其解释交互来修订神经符号概念

该研究提出了一种基于神经符号场景表征的解释交互学习方法，它能够在语义层面上对模型进行干预，通过对物体的组合性解释来获得更好的效果。

Nov, 2020

基于医学概念的图神经网络的认知解释器

本研究提出一种基于医学概念的可解释卷积神经网络框架，可用于识别超声标准平面，并构建关键医学概念之间的关系，从医生的认知角度解释，并在实验中取得了实质性的解释性能提升。

Jan, 2022

卷积神经网络的语义解释：什么使得一只猫成为猫？

本文提出了语义可解释人工智能（S-XAI）框架，利用基因算法发现的最佳超像素的共同特征和可视化技术提取了理解的语义空间，同时提供了语义空间的统计解释和语义概率的概念。实验结果表明，S-XAI 在为 CNN 提供更好的语义解释方面是有效的，具有广泛的应用价值，包括可信度评估和语义样本搜索。

Apr, 2022

使用大型模型对深度视觉神经元进行自动化自然语言解释

通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

Oct, 2023

场景图上的可解释和显式视觉推理

通过使用场景图作为归纳偏差，我们设计了一种简洁灵活的可解释和显式神经模块（XNMs），并且能够显式追踪图形注意力的推理流程。当使用完美检测的场景图时， XNMs 能够在 CLEVR 和 CLEVR CoGenT 上实现 100％的准确率，当嘈杂地检测真实世界图像时，XNMs 仍然能够达到竞争性 67.5％的 VQAv2.0 准确度，超越了流行的无结构模型。

Dec, 2018

神经符号视觉推理：将 “视觉” 与 “推理” 分离

本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

Jun, 2020