ICMLJul, 2022

神经赛跑降维：门控网络中的抽象动态

PDF
TL;DR通过引入门控深度线性网络框架，研究网络结构对学习动态产生的影响并理解它与任务之间的关系，表明结构化网络中的学习动态可以被概念化为具有向共享表示的神经竞赛，我们的分析为神经网络架构与学习之间的关系提出了一般性假设，并提供了理解更复杂架构设计以及模块化和组合在解决现实问题中起的作用的数学方法。
deep learningnetwork architecturegated deep linear networklearning dynamicsneural race
发现论文，激发创造
  • 当表示对齐时：在表示学习动态中的普适性

    在复杂的大规模架构中，深度神经网络的表征学习动态可以用编解码映射为任意平滑函数的有效理论来描述，该理论能够概括多种不同激活函数和架构的深度网络的表征学习动态，并展现类似于 “丰富” 和 “懒惰” 区域的现象。

    Feb, 2024

  • 深度学习理论原理

    本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

    Jun, 2021

  • 深度神经网络的学习动态

    研究深度神经网络的学习动态，主要关注于二元分类问题。我们证明了网络学习的各种性质，并且在非线性架构下，分类误差也呈现出 sigmoid 形状，证实了经验观察。我们指出了梯度饱和现象和特征频率对模型收敛速度的影响，并探讨了交叉熵和 hinge 损失对生成对抗网络训练的差异。最后，我们提出了梯度饥饿现象并进行了研究。

    Sep, 2018

  • 学习的动态性：一种随机矩阵方法

    本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。

    May, 2018

  • 深度线性神经网络学习非线性动力学的精确解

    通过对深度线性神经网络的学习动态进行系统分析，我们发现这些网络表现出类似于非线性神经网络的非线性学习现象，包括长时间的平原，然后快速转换到更低误差的解决方案，以及从贪婪的无监督预训练初始条件下的更快收敛等。同时，我们发现在权重的某些特殊初始条件下，非监督预训练可以找到这些初始条件，同时表现出深度独立的学习时间，而随机高斯初始化则做不到。

    Dec, 2013

  • 关于神经抽象的效率与精确性之间的权衡

    神经抽象是复杂的非线性动力模型的形式近似，通过神经 ODE 和抽象神经网络与具体动力模型之间的误差的保证上界来表示。本文通过形式归纳合成过程生成动力学模型，并讨论复杂神经 ODE 的抽象以提高可达性分析的效率。

    Jul, 2023

  • 基于速率压缩原理的深度网络

    该研究尝试从速率减少和（移位）不变分类的原理解释现代深度（卷积）网络，并提供了一种基于梯度优化方案的前向传播方法来构建网络，其中包括层级结构，线性和非线性操作以及参数。此方法还揭示和证明了深度网络早期阶段的多通道升级和稀疏编码的作用，正式强制分类为严格移位不变时，所得到的网络的所有线性操作自然成为多通道卷积。同时，该卷积网络训练所需的成本更低，学习效率更高。初步模拟和实验表明，即使没有任何反向传导训练，基于该理论构建的深度网络已经可以学习良好的判别表示。

    Oct, 2020

  • 深层门控网络：深度学习训练和泛化的框架理解

    通过深门控网络作为框架，理论分析和实验验证了几种 DGNs 变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

    Feb, 2020

  • 低秩学习设计：网络架构和激活线性在梯度秩崩溃中的作用

    我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括 “神经坍塌” 现象，在训练的后期，DNN 内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对 DNN 中的梯度秩进行了全面研究，研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解 DNN 中的学习动态，而且为深度学习工程师提供了实践指导，以便做出明智的设计决策。

    Feb, 2024

  • 深度线性网络中泛化动态和迁移学习的分析理论

    研究了在深度学习中的泛化难题，发展了一个解决泛化问题的解析理论，并探讨了多任务学习和跨任务学习的知识迁移方法。

    Sep, 2018