Feb, 2024

通过谱神经网络和非线性矩阵感知实现隐式正则化

HTML
PDF
TL;DR通过对带有非线性激活函数的神经网络在矩阵感知问题中的隐性正则化现象的研究，我们引入了一种名为“光谱神经网络（SNN）”的网络架构，该架构在矩阵学习问题上具有更好的可解释性，通过数学保证和实证研究验证了其有效性。我们相信SNN架构在广泛的矩阵学习场景中具有潜在的适用性。
发现论文，激发创造
  • 学习深度同质模型中的算法正则化：层次自动平衡

    证明了通过梯度下降（以及正步长）学习多层同质函数时，该算法的梯度流可以有效地强制不同层之间的平方范数差异保持不变，从而自动平衡所有层的大小，由此可以深入研究利用一阶算法来优化学习深度模型的基本方法。

    Jun, 2018

  • 深度神经网络中的隐式自正则化：来自随机矩阵理论的证据和对学习的影响

    利用随机矩阵理论分析深度神经网络的权重矩阵，并得出神经网络的训练过程本身隐式实现了自我正则化的结论，通过改变批次大小和利用泛化间隙现象，证明了大批次训练导致模型隐含正则化不佳并解释了泛化间隙现象。

    Oct, 2018

  • 利用海森矩阵特征值密度研究神经网络优化

    研究优化过程中深度神经网络中Hessian谱的演化对动力学的影响，发现对于非批归一化网络，谱中的大量孤立特征值以及聚集在相应特征空间中的梯度的快速出现将影响优化速度，而批归一化网络中这两种效应几乎不存在。

    Jan, 2019

  • 由 Ornstein-Uhlenbeck 过程驱动的深度神经网络的隐式正则化

    研究采用随机梯度下降法训练的神经网络，通过对每一次迭代的训练标签进行独立噪声扰动，得到一个隐式正则化项，从而驱动网络向简单模型发展，并以矩阵感知、一维数据下的两层ReLU网络训练以及单数据点下的两层sigmoid激活网络训练等三个简单场景进行了阐述。

    Apr, 2019

  • 线性神经网络中离散梯度动态的隐式正则化

    本文研究了过参数化模型的离散梯度动态，并证明在使用适当超参数和初始化条件时，该动态可以学习降低秩的回归问题的解。

    Apr, 2019

  • 深度矩阵分解中的隐式正则化

    本篇论文探讨了深度矩阵分解在矩阵补全和传感中的梯度下降隐式正则化对低秩解的影响，并发现添加深度会增强对低秩解的倾向，结果表明标准正则化的数学符号语言可能不足以完全涵盖梯度下降隐式正则化的机制。

    May, 2019

  • 关于隐式正则化：Morse函数与矩阵因式分解的应用

    本文重新回顾了使用动态系统和Morse函数的不变子空间来解释深度模型（如神经网络）泛化能力的隐式正则化，并提出了一种新的隐式正则化标准以及研究它的通用蓝图，并应用这些技术来解决隐式正则化理论在矩阵分解中的一个猜想。

    Jan, 2020

  • 深度学习中的隐式正则化可能无法通过规范解释

    通过矩阵分解问题的数学建模，探究梯度优化算法所诱导的隐含正则化问题，研究发现规范（norms）不能完全解释矩阵分解问题中的正则化问题，通过实验证明排名（rank）是更有用的解释方式以及有可能解释深度学习中的泛化问题。

    May, 2020

  • 深度矩阵分解的梯度下降算法：动力学和从低秩隐含的偏差

    本文研究用于解决深度学习的隐含偏差问题的梯度下降算法动态收敛性，在线性网络和估计问题上，分析梯度下降中的“有效秩”动态变化，提出了矩阵低秩投影的有效秩，为理解深度学习奠定了基础。

    Nov, 2020

  • 通过预测网络和停梯度方法，实现BYOL/SimSiam的隐式方差正则化

    本论文研究了自监督学习的非对比方法，通过构建 DirectPred 理论框架，分析了线性网络的表示学习动态，并通过共轭积的方法提供了一个显式的方差规则机制，提出了一种新的各向同性损失函数，并在 CIFAR-10 和 STL-10 数据集上证明了理论发现的正确性。

    Dec, 2022