利用深度生成网络合成神经网络内部神经元的首选输入

NIPSMay, 2016

利用深度生成网络合成神经网络内部神经元的首选输入

Synthesizing the preferred inputs for neurons in neural networks via deep generator networks

Anh Nguyen, Alexey Dosovitskiy, Jason Yosinski, Thomas Brox, Jeff Clune

TL;DR通过激活最大化算法，使用深度生成网络为神经网络内部的感知器学习特征提供先验知识，可以生成高质量的合成图像和可解释的特征，同时作为一种高质量的生成方法。

Abstract

deep neural networks (DNNs) have demonstrated state-of-the-art results on many pattern recognition tasks, especially vision classification problems. Understanding the inner workings of such computational brains is both fascinating basic science that is interesting in its own right - si

deep neural networks activation maximization image synthesis interpretability generative method

发现论文，激发创造

通过渐变弹弓操控特征可视化

本文研究了 Deep Neural Networks (DNNs) 通过 Activation Maximization (AM) 方法学习的概念的语义特性，并介绍了一种在不改变模型架构或显著影响模型决策过程的情况下操纵特征可视化的新方法。我们评估了该方法在多个神经网络模型上的有效性，并展示了在模型审核过程中通过掩盖原始解释而隐藏特定神经元功能的能力。为了解决这个问题，我们提出了对抗此类操纵的一种保护措施，并提供了定量证据来支持我们的发现。

Jan, 2024

透過特徵視覺化理解神經網絡：一項調查

本章介绍了一种神经科学方法 ——Activation Maximization（AM），利用机器学习技术综合推理神经元的首选刺激，以大力激发人造或生物大脑中的单个细胞或细胞组，并讨论了现有 AM 技术的概率解释和其在网络调试和解释方面的应用。

Apr, 2019

脉冲神经网络中神经元的快速无梯度激活最大化

通过构建一个反馈循环并利用低秩张量分解技术，我们成功设计了一个快速高效的优化方法，用于激活最大化的神经网络，并在人工脉冲神经网络上成功测试。

Dec, 2023

深度神经网络的生成学习

本文的研究旨在深度神经网络的生成式学习问题上提出一种中间方法，通过前向计算得出一个简化版的贝叶斯概率多层模型，并且运用转置的方法使得识别和生成网络更加符合数据的联合概率模型。通过实验发现，这种联合对组的生成对模型足够强大，可以很好地进行识别和生成任务。

Sep, 2017

神经元激活最大化的解释遭受对抗性攻击

本文提出并演示了一种优化框架，用于操纵模型以达到欺骗解释的目的，并展示了一些流行的激活最大化解释技术的若干种可以被操纵以改变解释的方式，揭示了这些方法的可靠性。

Jun, 2023

深层门控网络：深度学习训练和泛化的框架理解

通过深门控网络作为框架，理论分析和实验验证了几种 DGNs 变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

Feb, 2020

FermiNets：通过生成合成学习生成式机器生成高效神经网络

本研究提出了一种名为 “生成综合” 的新方法，它可以自动生成高度有效的深度神经网络架构，该方法可以广泛应用于移动和其他消费设备的边缘场景中，目的是加速和改进深度学习模型的构建，并提高模型效率和能源效率。

Sep, 2018

深度神经网络中每个神经元学习到的不同类型的特征的多方面可视化

通过深度可视化技术，可以更好地了解深度神经网络。本文介绍了一种算法，通过合成每种类型的图像来清晰地揭示神经元的多重特征，并引入正则化方法使可视化结果更具解释性和清晰性。

Feb, 2016

神经元发生的深度学习

本文通过加入新神经元到深度神经网络的层中，探索了连续学习的潜力，并通过 MNIST 手写数字数据集和 NIST SD 19 数据集证明了神经发生有助于解决适应性机器学习算法中的稳定性和可塑性两难问题。

Dec, 2016

使用深度生成模型生成和设计 DNA

本文提出了三种生成神经网络方法，用于生成 DNA 序列，并调整其具有期望的性质。这些工具捕捉到数据的重要结构，并在设计蛋白质结合微阵列探针时，生成具有超越训练数据的性能的新序列。我们相信这些结果为将深层生成模型应用于推进基因组学研究开辟了新的空间。

Dec, 2017