Nov, 2015

深度神经网络为什么是可逆的：一个简单的理论，以及对训练的影响

PDF
TL;DR本文简单证明根据生成模型产生的反向网络是正确的推理方法。在一个简单的生成模型中，证明前向神经网络是正确的推理方法，它通过实验证明了像 AlexNet 这样的现实的深度神经网络的边缘权重的行为类似于随机数。它利用生成模型来产生带有标签的合成数据，并将其包含在训练集中，为深度学习提供改进和标准训练方法。
generative modelsdeep learningfeedforward nettheoretical assumptiontraining methods
发现论文，激发创造
  • 深度神经网络的生成学习

    本文的研究旨在深度神经网络的生成式学习问题上提出一种中间方法，通过前向计算得出一个简化版的贝叶斯概率多层模型，并且运用转置的方法使得识别和生成网络更加符合数据的联合概率模型。通过实验发现，这种联合对组的生成对模型足够强大，可以很好地进行识别和生成任务。

    Sep, 2017

  • 为什么深度残差网络比深度前馈网络具有更好的泛化性能？——— 一种神经切向核的视角

    该论文从神经切向核的角度研究了深度学习中深层残差网络相对于前馈网络的泛化性能优势，并给出了数字结果支持。

    Feb, 2020

  • 前馈初始化对深度生成网络快速推断的生物性可行性研究

    探讨了深层次的生成模型，其中计算是既反复又随机的，但循环不是为了模拟顺序结构，而是为了执行计算，并提出了一种简单的前馈计算方法，可用于推断，使得循环神经网络非常接近网络动力学的固定点。

    Jun, 2016

  • 逐层反转深度生成模型

    本文研究在 ReLU 激活的深度生成模型中，通过解决线性规划问题进行单层反演，证明了多层反演是 NP 难问题，提出了可在多项式时间内进行精确恢复的算法，并为恢复嘈杂观测提供了可证明的误差界限。

    Jun, 2019

  • 深层门控网络：深度学习训练和泛化的框架理解

    通过深门控网络作为框架，理论分析和实验验证了几种 DGNs 变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

    Feb, 2020

  • 具有循环生成反馈的神经网络

    通过引入生成循环反馈，本文在卷积神经网络上实现了一种用于保证自我一致性的框架，并在标准基准测试中展示了 CNN-F 相对于传统前馈 CNN 的显着提高的对抗性鲁棒性。

    Jul, 2020

  • 生成万花筒网络

    发现深度 ReLU 网络（或多层感知器架构）表现出 ' 过度泛化 ' 现象并利用这一特性设计了数据集炫斑网络，称为 ' 生成炫斑网络 '。此现象在其他深度学习架构（如 CNNs、Transformers 和 U-Nets）中也观察到，并正在进一步研究。

    Feb, 2024

  • 深度生成模型分层学习

    本文提出了一种基于乐观的概率方法进行逐层训练 DeepAutoEncoder 的过程，可以提高深度架构训练的性能，实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。

    Dec, 2012

  • 揭示黑匣子：用重构熵预测深度神经网络的可训练性

    给定神经网络的初始条件，通过在参数空间中重建输入从相邻激活层到单层辅助网络的级联来预测深层前馈神经网络的可训练区域，从而显著降低整体训练时间，并确定信息流动与深度神经网络的可训练性之间的具体联系。

    Jun, 2024

  • 神秘揭露者：针对深度神经网络的生成模型反演攻击

    本文介绍了一种新型攻击方法 —— 生成模型反演攻击，它可以显著地提高逆转深度神经网络的准确率，攻击者使用部分公共信息学习分布先验，引导逆转过程，并且通过实验证明了差分隐私在该攻击下的防御效果有限。

    Nov, 2019