Jan, 2024

通过渐变弹弓操控特征可视化

PDF
TL;DR本文研究了 Deep Neural Networks (DNNs) 通过 Activation Maximization (AM) 方法学习的概念的语义特性，并介绍了一种在不改变模型架构或显著影响模型决策过程的情况下操纵特征可视化的新方法。我们评估了该方法在多个神经网络模型上的有效性，并展示了在模型审核过程中通过掩盖原始解释而隐藏特定神经元功能的能力。为了解决这个问题，我们提出了对抗此类操纵的一种保护措施，并提供了定量证据来支持我们的发现。
发现论文，激发创造
  • 利用深度生成网络合成神经网络内部神经元的首选输入

    通过激活最大化算法，使用深度生成网络为神经网络内部的感知器学习特征提供先验知识，可以生成高质量的合成图像和可解释的特征，同时作为一种高质量的生成方法。

    May, 2016

  • 透過特徵視覺化理解神經網絡：一項調查

    本章介绍了一种神经科学方法 ——Activation Maximization（AM），利用机器学习技术综合推理神经元的首选刺激，以大力激发人造或生物大脑中的单个细胞或细胞组，并讨论了现有 AM 技术的概率解释和其在网络调试和解释方面的应用。

    Apr, 2019

  • 神经元激活最大化的解释遭受对抗性攻击

    本文提出并演示了一种优化框架，用于操纵模型以达到欺骗解释的目的，并展示了一些流行的激活最大化解释技术的若干种可以被操纵以改变解释的方式，揭示了这些方法的可靠性。

    Jun, 2023

  • 脉冲神经网络中神经元的快速无梯度激活最大化

    通过构建一个反馈循环并利用低秩张量分解技术，我们成功设计了一个快速高效的优化方法，用于激活最大化的神经网络，并在人工脉冲神经网络上成功测试。

    Dec, 2023

  • 深度神经网络中每个神经元学习到的不同类型的特征的多方面可视化

    通过深度可视化技术，可以更好地了解深度神经网络。本文介绍了一种算法，通过合成每种类型的图像来清晰地揭示神经元的多重特征，并引入正则化方法使可视化结果更具解释性和清晰性。

    Feb, 2016

  • 深度神经网络的鲁棒解释

    本研究提出了一种理论框架和三种不同技术来提高对解释的稳健性。通过训练方法，激活函数的平滑以及网络 Hessian 的最小化，实现了对提高模型的抗干扰能力。实验结果证实了这些方法的有效性。

    Dec, 2020

  • 感知可视化：透过深度神经网络的视角看世界

    该论文的研究内容主要涵盖了人工智能、深度神经网络、可解释 AI、视知觉技术以及深度模型的调试等领域。论文提出的 Perception Visualization 技术通过可视化深度模型对于输入图像的感知来解释模型预测结果，研究发现人类能够更好地理解和预测系统决策，从而使深度模型的调试和部署更加可靠。

    Apr, 2022

  • 特征可视化有助于理解 CNN 激活的因果关系吗？

    在解释性人工智能方面，通过激活最大化可视化单元响应是一种被广泛应用的方法，而此研究测试了此方法是否能有效的帮助人们预测激活单元的变化，结果表明其在一定程度上有帮助，但并没有明显优势。

    Jun, 2021

  • 深度可视化理解神经网络

    该研究介绍了两个工具，用于可视化和解释深度卷积神经网络的计算过程，加速深度学习领域的发展。这些工具包括可视化神经网络在图像或视频处理过程中每一层产生的激活，并通过映射到图像空间进行的规则优化来可视化每一层的特征。

    Jun, 2015

  • 卷积神经网络如何看待世界 - 卷积神经网络可视化方法综述

    本文综述了通过 Activation Maximization、Network Inversion、Deconvolutional Neural Networks (DeconvNet) 以及 Network Dissection 等可视化手段实现 CNN 可解释性的方法，并探讨了这些方法在网络设计、优化和安全增强等领域中的实际应用价值。

    Apr, 2018